iCode Agent · Ingénierie
La fenêtre de contexte est un budget.
Un agent de programmation est surtout une boucle : explorer, modifier, exécuter, vérifier. La boucle est simple à décrire et coûteuse à exécuter, car chaque étape atterrit dans la fenêtre de contexte et est payée à nouveau à chaque requête suivante.
Où vont les tokens
Un agent qui lit un fichier, parcourt l’arborescence, lance un test et lit une trace de pile produit beaucoup de sortie — dont l’essentiel n’est utile qu’une seule fois. Laissé à lui-même, cet historique grossit jusqu’à ce que la requête ne tienne plus dans la fenêtre. L’agent fait alors l’une de deux mauvaises choses : il tronque et perd le fil, ou il se bloque complètement.
Aucune des deux n’est nécessaire. La sortie d’un appel d’outil ne garde pas la même valeur indéfiniment. Un fichier lu vingt étapes plus tôt est généralement résumable ; le résultat obtenu à l’étape précédente est ce sur quoi repose la décision en cours. Un système de contexte doit refléter cela.
Trois couches, chacune faisant ce qui coûte le moins cher
iCode Agent gère le contexte à chaque étape, du moins coûteux au plus coûteux :
- Plafonner à la source. Une sortie d’outil trop volumineuse est plafonnée au fur et à mesure de sa production — déversée dans un fichier avec un court aperçu — afin qu’un seul résultat énorme ne puisse pas inonder la fenêtre dès le départ.
- Réduire au moment de la requête. Uniquement lorsqu’une requête dépasserait son budget d’entrée, les anciens résultats d’outils sont remplacés par des marqueurs compacts, du plus ancien au plus récent, et seulement dans la quantité nécessaire pour tenir. Le tour en cours est protégé : c’est ce sur quoi l’agent travaille.
- Résumer durablement. Lorsque l’historique déborde vraiment, les anciens tours sont résumés en un message, en conservant les échanges récents, afin que la session continue au lieu de s’arrêter.
La réduction doit être réversible
La troncature fait perdre des informations. La vraie question de conception est de savoir comment réduire sans perdre le fil. La réponse d’iCode Agent : un résultat retenu n’est pas supprimé — il est remplacé par un pointeur structuré qui permet d’y revenir :
- Un chemin vers la sortie complète. Le marqueur indique où le contenu se trouve encore — le fichier de déversement ou le fichier d’origine d’une lecture — afin que l’agent puisse revenir au détail au lieu de deviner.
- Les preuves d’échec ne sont jamais retenues. Les erreurs et les commandes en échec sont précisément les faits dont dépend une tâche longue ; elles survivent donc même lorsque tout ce qui les entoure est réduit.
- La réduction ne réécrit jamais votre historique. La réduction n’est qu’une vue au moment de la requête. La session enregistrée conserve chaque résultat.
Pourquoi c’est important pour le coût
Le coût d’un agent de programmation n’est pas un chiffre unique — c’est la taille de chaque requête, multipliée par le nombre d’étapes. Un contexte plus petit et bien géré n’est pas seulement moins cher ; c’est aussi ce qui garde une tâche longue cohérente, car le modèle ne se noie pas dans des sorties obsolètes.
L’objectif n’est pas le contexte le plus petit possible. C’est le plus petit contexte qui répond encore à la question — avec un moyen de revenir au reste.
Les mécanismes décrits ici sont implémentés dans la couche de contexte d’iCode Agent ; voir le dépôt du projet.