iCode Agent · 工程
上下文窗口是一份预算。
编码智能体主要是一个循环:探索、修改、运行、验证。这个循环描述起来很便宜,运行起来却很昂贵,因为每一步都会落入上下文窗口,并在后续每次请求中再次付费。
token 都去了哪里
智能体读取文件、搜索目录树、运行测试、读取堆栈跟踪,会产生大量输出——其中大部分只用得上一次。若不加处理,这段历史会不断增长,直到请求再也装不进窗口。到那时,智能体往往会做两件坏事之一:截断并丢失线索,或者干脆停摆。
这两种做法都不必要。一次工具调用的输出并不会永远具有同样的价值。二十步之前读过的文件通常可以总结;一步之前得到的结果才是当前决定所依赖的东西。上下文系统应当反映这一点。
三层机制,各自做最便宜的事
iCode Agent 在每个边界管理上下文,从最便宜到最昂贵:
- 从源头设限。过大的工具输出在产生时就被限制——溢出到文件并保留简短预览——因此单个巨大的结果从一开始就无法淹没窗口。
- 在请求时缩减。只有当请求会超出输入预算时,较早的工具结果才会被替换为紧凑标记,从最旧的开始,且只替换到刚好能装下为止。当前轮次受到保护:那是智能体正在处理的内容。
- 持久地总结。当历史确实溢出时,较早的轮次会被汇总成一条消息,并保留最近的尾部,让会话得以继续而不是结束。
缩减必须可逆
截断会丢失信息。真正有意思的设计问题是:如何在不丢失线索的情况下缩减。iCode Agent 的答案是:被收起的结果并没有被删除——它被替换成一个结构化的指针,指回原处:
- 一条通往完整输出的路径。标记会指明内容仍然所在的位置——溢出文件,或某次读取所来自的文件——这样智能体就能回去查看细节,而不必猜测。
- 失败证据绝不会被收起。错误和失败的命令正是长任务所依赖的事实,因此即使周围的一切都被缩减,它们仍会保留。
- 缩减永远不会改写你的历史。缩减只是请求时的视图。保存的会话保留每一个结果。
为什么这对成本很重要
编码智能体的成本不是一个数字——它是每次请求的大小乘以步数。更小、管理良好的上下文不仅更便宜;它还能让长任务保持连贯,因为模型不会淹没在过时的输出里。
目标不是尽可能小的上下文,而是仍能回答问题的最小上下文——并且保留一条回到其余内容的路径。
这里描述的机制实现在 iCode Agent 的上下文层中;参见项目仓库。