基本原則
只有在專業分流能降低實際瓶頸的資源爭用時,才能提升處理量:- 工作階段鎖定:同一時間只能有一個執行作業變更指定的工作階段。
- 全域模型容量:所有可見的聊天執行作業仍共用供應商限制。
- 工具容量:Shell、瀏覽器、網路及儲存庫工作可能比 模型回合本身更慢。
- 脈絡預算:過長的對話記錄會讓之後的每個回合更慢且更不 聚焦。
- 歸屬不明確:多個代理重複執行相同工作會浪費容量。
建議的導入方式
第 1 階段:分流契約與背景繁重工作
在每個分流的工作區與系統提示詞中提供書面契約:- 用途:此分流負責的工作。
- 非目標:此分流應交接而非嘗試處理的工作。
- 聊天預算:快速回答留在聊天中;長時間任務則先簡短確認, 再交由背景子代理或任務執行。
- 交接規則:當工作屬於另一個分流時,說明應交由何處處理, 並提供精簡的交接摘要。
- 工具風險規則:優先使用能完成工作的最小工具介面。
第 2 階段:優先順序與並行控制
根據每個分流的業務價值調整佇列與模型容量:第 3 階段:協調器/流量控制器
當多個分流開始運作後,加入小型協調器模式:- 追蹤進行中的分流任務及負責人。
- 偵測各群組間的重複請求。
- 在各分流間路由交接摘要。
- 只呈現阻礙、已完成的結果,以及必須由人員做出的決策。