リアルタイムAIサジェスト
概要
AIサジェストは、ライブの文字起こし、あなたの質問、ナレッジベースをもとに、通話中にWhispererがリアルタイムで生成する回答です。回答はストリーム形式でオーバーレイのAnswerAreaに届きます。テキストは生成されるそばから表示され、Markdown、推論過程の開示、ページネーション(1/N)に対応しています。サジェストはいくつかのモードで機能します — 単純な回答から、スクリーンショットの分析、図を用いたSystem Designの設計まで。
すべてのリクエストは、Claude、GPT、DeepSeek、Qwen、Gemini、Grok、Llama系列のモデルを備えた当社のAIプロバイダーを経由します。利用できるモデルはプランによって異なります(ティアによるゲーティング)。最上位のフロンティアモデルはMaxプランにのみ含まれます。
こんなときに使う
- 面接: 行動面接の質問への回答をすばやく言語化したり、System Designの解決策を素描したりする。
- 営業・交渉: 論拠を見つける、反論に応じる、事実を再確認する。
- 技術面接 / ペアプログラミング: コーディングモードでコードを取得する。
- 画面に映っているものを理解する: vision モードでホワイトボード、図、コードのスクリーンショットを送る。
ステップごとの手順
- テキストで質問する。 CommandBarの入力欄に質問を入力してEnterを押すと、回答がAnswerAreaにストリーム表示され始めます。
- または「聞こえた内容から」質問する。 空の欄でEnterを押すと、Whispererが最新の文字起こし断片(相手の質問)を取得して回答します。質問がちょうど読み上げられた直後に便利です。
- またはスクリーンショットを添付する。 スクリーンショットを撮ると(captureScreenshotホットキーで)、そのフレームが vision モードに送られ、モデルが画像を分析します。
- ストリーミング回答を読む。 テキストは生成されるそばから表示されます。モデルの推論過程があれば展開できます。
- ページを切り替える。 長い回答や一連のリクエストはページに分割されます — AnswerAreaの1/Nページネーションで切り替えます。
回答モード
- 単純な回答(ロール
responses)— コンテキストとナレッジベースを考慮した、質問へのテキスト回答。 - コーディング(ロール
coding)— コードの生成と説明。プログラミングに最適化されたモデル。 - Vision / 複数スクリーンショット(ロール
vision)— 単一の画像、または蓄積された複数のフレームの分析(スクリーンショットの配列がvisionエンドポイントに送られます)。1画面に収まらない長いタスクに便利です。 - System Design(ロール
system_design)— Mermaidの図(コンポーネント、データフロー、アーキテクチャ図)を含む構造化された回答。
プロンプトの組み立て方(概要)
システムプロンプトは優先度の高い順に、上から下へ組み立てられます:
- ロールプロンプト — Prompt Studio で設定したあなた個人のテンプレート。
- ユーザーコンテキスト — 自分自身や自分の役割について設定したデータ。
- RAGブロック — ナレッジベースからの関連断片。リクエストごとに動的に選択されます。
モデルのロールごとに異なるタスクを担当します: responses(チャット)、coding(コード)、vision(画像)、system_design(図)、generation(マインドマップ)、transcription(Whisper)、embedding(RAG向けのベクトル化)。
モデルのティアゲーティング
Free では基本的なモデルが利用でき、有料プランではより幅広いモデルが利用できます。フロンティアモデル(最上位のもの: Claude Opus、フラッグシップのGPTなど)はMaxプランでのみ利用できます。詳しくはプランと含まれる内容をご覧ください。
スクリーンショット
📸 [スクリーンショット: ストリーミング回答と1/NページネーションのAnswerArea]
📸 [スクリーンショット: 空のEnterによる「聞こえた内容から」のリクエスト]
📸 [スクリーンショット: Mermaidの図を含むSystem Designの回答]
📸 [スクリーンショット: スクリーンショットを添付した vision モード]
よくある間違い
- Enterを押しても何も送信されなかった。 欄が空の場合、Whispererは文字起こしから質問を取得します — 相手の声が聞こえていること(「画面収録」の権限が必要)を確認するか、質問をテキストで入力してください。
- フロンティアモデルが利用できない。 最上位のモデルはMaxでのみ有効です — Free/Start/Proでは、利用可能な最も近いモデルが選択されます。
- コンテキストが「効かなかった」。 ユーザーコンテキストはあなたに関する参照情報であり、命令ではありません。実際の質問は入力欄で行ってください。
- スクリーンショットが分析されなかった。 複数スクリーンショットとvisionはすべてのプランで利用できるわけではありません — プランで機能を確認してください。
ベストプラクティス
- 短く具体的な質問をしましょう — ストリーミングが早く始まり、回答もより正確になります。
- 画面上の長いタスクには、複数のフレームを蓄積して1枚ずつではなく複数スクリーンショットとして送りましょう。
- ナレッジベースを充実させましょう — RAGはあなたの事実を回答に織り込み、「ハルシネーション」を減らします。
- あなたのタスク(面接 / 営業 / 指導)に合わせた個人用のロールプロンプトを設定しましょう。
- アーキテクチャに関する質問にはSystem Designモードを使いましょう — テキストだけの説明ではなく、すぐ使えるMermaidの図が得られます。