realtime、本機或串流
stt-tts,以及用於僅觀察語音擷取的 transcription。這些模式
與電話、會議、瀏覽器即時通訊及原生按住說話用戶端共用
供應商目錄、事件封套與取消語意。
功能
圖片生成
透過
image_generate,依據文字提示或參考圖片建立及編輯圖片。
在聊天工作階段中採非同步處理——於背景執行,並在準備完成後
發布結果。影片生成
透過
video_generate 進行文字轉影片、圖片轉影片及影片轉影片。
採非同步處理——於背景執行,並在準備完成後發布結果。音樂生成
透過
music_generate 生成音樂或音軌。在聊天
工作階段中,使用共用的媒體生成任務生命週期進行非同步處理。文字轉語音
透過
tts 工具與 tts 設定,
將傳出的回覆轉換為語音。採同步處理。媒體理解
使用具備視覺能力的模型供應商及專用媒體理解外掛,
摘要傳入的圖片、音訊與影片。
語音轉文字
透過批次 STT 或 Voice Call 串流 STT 供應商,
轉錄傳入的語音訊息。
供應商功能矩陣
此表涵蓋專用的媒體生成、TTS 與 STT 外掛。許多
聊天模型供應商(Anthropic、Google、OpenAI 等)也能透過其回覆模型
理解傳入的媒體;完整供應商清單請參閱
媒體理解。
此處的即時語音是指供應商原生的雙向即時通訊(Talk
realtime 模式,例如 Gemini Live 或 OpenAI Realtime API)——目前只有 Google
與 OpenAI 註冊此功能。Deepgram、ElevenLabs、Mistral、OpenAI 與 xAI
另行註冊 Voice Call 串流 STT(單向音訊轉文字);請參閱下方的
語音轉文字與 Voice Call。
xAI 即時語音是上游功能,但在共用即時語音合約能夠表示它之前,
不會在 OpenClaw 中註冊。非同步與同步
對於非同步工具,OpenClaw 會將請求提交給供應商、立即傳回任務
ID,並在任務帳本中追蹤工作。工作執行期間,代理程式會繼續
回應其他訊息。供應商完成後,OpenClaw 會使用生成的媒體路徑喚醒代理程式,
讓代理程式透過工作階段的一般可見回覆模式通知
使用者:若已設定,則自動傳送最終回覆;若工作階段要求使用
訊息工具,則使用
message(action="send")。如果發出請求的工作階段處於非作用中狀態,
或其主動喚醒失敗,而且完成回覆中仍缺少部分生成的媒體,
OpenClaw 會以冪等方式直接傳送備援回覆,其中只包含缺少的媒體。已由
完成回覆傳送的媒體不會再次發布。
語音轉文字與 Voice Call
設定後,Deepgram、DeepInfra、ElevenLabs、Google、Groq、Mistral、OpenAI、OpenRouter、 SenseAudio 與 xAI 都能透過批次tools.media.audio 路徑
轉錄傳入的音訊。為了執行提及閘控或命令剖析而預先檢查
語音留言的頻道外掛,會在傳入內容中標記已轉錄的
附件,讓共用媒體理解階段重複使用該逐字稿,而不會對同一段
音訊進行第二次 STT 呼叫。
Deepgram、ElevenLabs、Mistral、OpenAI 與 xAI 也會註冊 Voice Call
串流 STT 供應商,因此即時電話音訊可直接轉送給所選
供應商,而不必等待錄音完成。
即時使用者對話建議使用 Talk 模式。批次音訊
附件仍使用媒體路徑;瀏覽器即時通訊、原生按住說話、
電話及會議音訊應使用 Talk 事件,以及閘道傳回的工作階段範圍
目錄。
供應商對應關係(供應商如何分布於各介面)
Google
圖片、影片、音樂、批次 TTS、批次 STT、後端即時語音,以及
媒體理解介面。
OpenAI
OpenAI
圖片、影片、批次 TTS、批次 STT、Voice Call 串流 STT、後端
即時語音,以及記憶嵌入介面。
DeepInfra
DeepInfra
聊天/模型路由、圖片生成/編輯、文字轉影片、批次 TTS、
批次 STT、圖片媒體理解,以及記憶嵌入介面。
DeepInfra 也提供重新排序、分類、物件偵測及
其他原生模型類型;OpenClaw 尚未針對這些
類別提供供應商合約,因此此外掛不會註冊這些類型。
xAI
xAI
圖片、影片、搜尋、程式碼執行、批次 TTS、批次 STT,以及 Voice
Call 串流 STT。xAI 即時語音是上游功能,但在共用即時語音合約
能夠表示它之前,不會在 OpenClaw 中註冊。