リアルタイムAIサジェスト

概要

AIサジェストは、ライブの文字起こし、あなたの質問、ナレッジベースをもとに、通話中にWhispererがリアルタイムで生成する回答です。回答はストリーム形式でオーバーレイのAnswerAreaに届きます。テキストは生成されるそばから表示され、Markdown、推論過程の開示、ページネーション(1/N)に対応しています。サジェストはいくつかのモードで機能します — 単純な回答から、スクリーンショットの分析、図を用いたSystem Designの設計まで。

すべてのリクエストは、Claude、GPT、DeepSeek、Qwen、Gemini、Grok、Llama系列のモデルを備えた当社のAIプロバイダーを経由します。利用できるモデルはプランによって異なります(ティアによるゲーティング)。最上位のフロンティアモデルはMaxプランにのみ含まれます。

こんなときに使う

  • 面接: 行動面接の質問への回答をすばやく言語化したり、System Designの解決策を素描したりする。
  • 営業・交渉: 論拠を見つける、反論に応じる、事実を再確認する。
  • 技術面接 / ペアプログラミング: コーディングモードでコードを取得する。
  • 画面に映っているものを理解する: vision モードでホワイトボード、図、コードのスクリーンショットを送る。

ステップごとの手順

  1. テキストで質問する。 CommandBarの入力欄に質問を入力してEnterを押すと、回答がAnswerAreaにストリーム表示され始めます。
  2. または「聞こえた内容から」質問する。 空の欄でEnterを押すと、Whispererが最新の文字起こし断片(相手の質問)を取得して回答します。質問がちょうど読み上げられた直後に便利です。
  3. またはスクリーンショットを添付する。 スクリーンショットを撮ると(captureScreenshotホットキーで)、そのフレームが vision モードに送られ、モデルが画像を分析します。
  4. ストリーミング回答を読む。 テキストは生成されるそばから表示されます。モデルの推論過程があれば展開できます。
  5. ページを切り替える。 長い回答や一連のリクエストはページに分割されます — AnswerAreaの1/Nページネーションで切り替えます。

回答モード

  • 単純な回答(ロール responses)— コンテキストとナレッジベースを考慮した、質問へのテキスト回答。
  • コーディング(ロール coding)— コードの生成と説明。プログラミングに最適化されたモデル。
  • Vision / 複数スクリーンショット(ロール vision)— 単一の画像、または蓄積された複数のフレームの分析(スクリーンショットの配列がvisionエンドポイントに送られます)。1画面に収まらない長いタスクに便利です。
  • System Design(ロール system_design)— Mermaidの図(コンポーネント、データフロー、アーキテクチャ図)を含む構造化された回答。

プロンプトの組み立て方(概要)

システムプロンプトは優先度の高い順に、上から下へ組み立てられます:

  1. ロールプロンプト — Prompt Studio で設定したあなた個人のテンプレート。
  2. ユーザーコンテキスト — 自分自身や自分の役割について設定したデータ。
  3. RAGブロックナレッジベースからの関連断片。リクエストごとに動的に選択されます。

モデルのロールごとに異なるタスクを担当します: responses(チャット)、coding(コード)、vision(画像)、system_design(図)、generation(マインドマップ)、transcription(Whisper)、embedding(RAG向けのベクトル化)。

モデルのティアゲーティング

Free では基本的なモデルが利用でき、有料プランではより幅広いモデルが利用できます。フロンティアモデル(最上位のもの: Claude Opus、フラッグシップのGPTなど)はMaxプランでのみ利用できます。詳しくはプランと含まれる内容をご覧ください。

スクリーンショット

📸 [スクリーンショット: ストリーミング回答と1/NページネーションのAnswerArea]

📸 [スクリーンショット: 空のEnterによる「聞こえた内容から」のリクエスト]

📸 [スクリーンショット: Mermaidの図を含むSystem Designの回答]

📸 [スクリーンショット: スクリーンショットを添付した vision モード]

よくある間違い

  • Enterを押しても何も送信されなかった。 欄が空の場合、Whispererは文字起こしから質問を取得します — 相手の声が聞こえていること(「画面収録」の権限が必要)を確認するか、質問をテキストで入力してください。
  • フロンティアモデルが利用できない。 最上位のモデルはMaxでのみ有効です — Free/Start/Proでは、利用可能な最も近いモデルが選択されます。
  • コンテキストが「効かなかった」。 ユーザーコンテキストはあなたに関する参照情報であり、命令ではありません。実際の質問は入力欄で行ってください。
  • スクリーンショットが分析されなかった。 複数スクリーンショットとvisionはすべてのプランで利用できるわけではありません — プランで機能を確認してください。

ベストプラクティス

  • 短く具体的な質問をしましょう — ストリーミングが早く始まり、回答もより正確になります。
  • 画面上の長いタスクには、複数のフレームを蓄積して1枚ずつではなく複数スクリーンショットとして送りましょう。
  • ナレッジベースを充実させましょう — RAGはあなたの事実を回答に織り込み、「ハルシネーション」を減らします。
  • あなたのタスク(面接 / 営業 / 指導)に合わせた個人用のロールプロンプトを設定しましょう。
  • アーキテクチャに関する質問にはSystem Designモードを使いましょう — テキストだけの説明ではなく、すぐ使えるMermaidの図が得られます。

関連記事