iCode Agent · Ingeniería
La ventana de contexto es un presupuesto.
Un agente de programación es en gran medida un bucle: explorar, cambiar, ejecutar, verificar. El bucle es barato de describir y caro de ejecutar, porque cada paso aterriza en la ventana de contexto y se vuelve a pagar en cada petición posterior.
Adónde van los tokens
Un agente que lee un archivo, busca en el árbol, ejecuta un test y lee un stack trace produce mucha salida, y la mayor parte solo es útil una vez. Si se deja crecer, ese historial acaba superando la ventana. En ese punto el agente hace una de dos cosas malas: trunca y pierde el hilo, o se bloquea por completo.
Ninguna de las dos cosas es necesaria. La salida de una llamada a herramienta no vale lo mismo para siempre. Un archivo que leíste hace veinte pasos suele poder resumirse; el resultado de hace un paso es en lo que se basa la decisión actual. Un sistema de contexto debería reflejarlo.
Tres capas, cada una haciendo lo más barato
iCode Agent gestiona el contexto en cada límite, de lo más barato a lo más caro:
- Limita en el origen. La salida desmesurada de una herramienta se limita mientras se produce (se vuelca a un archivo con una vista previa breve), de modo que un único resultado enorme no pueda inundar la ventana desde el principio.
- Reduce en el momento de la petición. Solo cuando una petición excedería su presupuesto de entrada, los resultados de herramientas más antiguos se sustituyen por marcadores compactos, empezando por los más antiguos y solo tantos como haga falta para encajar. El turno actual está protegido: es en lo que trabaja el agente.
- Resume de forma duradera. Cuando el historial desborda de verdad, los turnos antiguos se resumen en un mensaje que conserva los turnos más recientes, para que la sesión continúe en lugar de terminar.
La reducción debe ser reversible
Truncar pierde información. La pregunta de diseño interesante es cómo reducir sin perder el hilo. La respuesta de iCode Agent es que un resultado omitido no se elimina: se sustituye por un puntero estructurado de vuelta:
- Una ruta a la salida completa. El marcador indica dónde sigue viviendo el contenido —el archivo volcado o el archivo del que vino una lectura—, para que el agente pueda volver al detalle en lugar de adivinar.
- La evidencia de fallos nunca se omite. Los errores y los comandos fallidos son justo los hechos de los que depende una tarea larga, así que sobreviven incluso cuando todo lo que los rodea se reduce.
- La reducción nunca reescribe tu historial. La reducción es solo una vista en el momento de la petición. La sesión guardada conserva todos los resultados.
Por qué importa para el coste
El coste de un agente de programación no es un solo número: es el tamaño de cada petición multiplicado por el número de pasos. Un contexto más pequeño y bien gestionado no solo es más barato; también es lo que mantiene coherente una tarea larga, porque el modelo no se ahoga en salida obsoleta.
El objetivo no es el contexto más pequeño posible, sino el más pequeño que todavía responde a la pregunta, con un camino de vuelta al resto.
La mecánica descrita aquí está implementada en la capa de contexto de iCode Agent; consulta el repositorio del proyecto.