跳到正文
Ollama 博客·· 4 天前AI 评分58

Together AI 与 Ollama 解析开放模型如何支撑长程智能体负载

Making open models work for long-horizon agentic workloads

AI 导读

Together AI 的 Parth Sareen 与 Zain Hasan 撰文解析长程智能体负载下的前缀缓存问题,指出智能体每轮输入长、输出短,缓存命中决定长会话的速度与成本。文章从 harness 与推理引擎两端给出做法,包括工具定义后置加载、系统提示词保持稳定、截断工具输出时说明范围、子智能体按需继承上下文,以及按前缀哈希路由请求、空闲时把缓存卸载到 CPU 内存。

来源:Ollama 博客 · ollama.com