第一原則
只有在專門通道能降低真實瓶頸的競爭時,才會提升吞吐量:- 工作階段鎖定:同一時間只應有一個執行可變更指定工作階段。
- 全域模型容量:所有可見的聊天執行仍會共享供應商限制。
- 工具容量:shell、瀏覽器、網路和儲存庫作業可能比模型回合本身更慢。
- 情境預算:冗長的逐字稿會讓未來每個回合更慢且更不聚焦。
- 擁有權模糊:重複的代理執行相同工作會浪費容量。
建議推出方式
第 1 階段:通道合約 + 背景重型工作
在每個通道的工作區和系統提示中提供書面合約:- 目的:此通道負責的工作。
- 非目標:它應該交接而不是嘗試處理的工作。
- 聊天預算:快速回答留在聊天中;長任務應先簡短確認, 然後在背景子代理或任務中執行。
- 交接規則:當另一個通道擁有該工作時,說明應移往何處, 並提供精簡的交接摘要。
- 工具風險規則:偏好可完成工作的最小工具介面。
第 2 階段:優先順序與並行控制
依每個通道的業務價值調整佇列與模型容量:第 3 階段:協調器 / 流量控制器
在多個通道啟用後,加入小型協調器模式:- 追蹤作用中的通道任務與擁有者。
- 偵測跨群組的重複請求。
- 在通道之間路由交接摘要。
- 只浮現阻礙因素、已完成結果,以及人類必須做出的決策。