AI Gateway が音声モダリティに対応し、リアルタイム双方向音声・テキスト読み上げ（TTS）・文字起こし（STT）を、テキスト・画像・動画と同じ呼び出し経路で扱えるようになった。音声アシスタントやサポートエージェント、ハンズフリー操作など、打鍵より会話で進めたいワークフロー向けである。機能はベータで、AI SDK 7 から利用できる。
- 起動時のモデルは OpenAI と xAI。プロバイダルーティング、観測、利用予算・支出制御、Bring Your Own Key は他モダリティと同じ枠で効く。
- リアルタイム音声は STT → LLM → TTS の連結ではなく、単一モデルが音声を受け音声を返す。
turnDetection: { type: 'server-vad' }でサーバ側の発話区切りと割り込み（barge-in）に対応し、応答途中のツール呼び出しもターンを閉じずに続けられる。 - ブラウザでは
@ai-sdk/reactのuseRealtimeが WebSocket・マイク・再生を担う。サーバのgateway.experimental_realtime.getTokenが短命トークンを発行し、API キーはクライアントに渡さない。Node などではgetWebSocketConfigとイベントの serialize／parse で自前接続できる。 - TTS は
generateSpeech（例:xai/grok-tts）、STT はtranscribe（例:openai/whisper-1）。入力はバッファ・Base64・URL に対応する。 - ダッシュボードのモデル Playground でも、コードなしでリアルタイム会話や TTS／STT を試せる。
- セッション上限は最大継続 25 分、アイドル 5 分、接続後最初のクライアントメッセージまで 30 秒、メッセージサイズ 256 KB。同時セッション数にもチーム単位の上限がある。画像入力は非対応で、再接続しても前回セッションは再開されない。