iCode Agent · Entwicklung
Das Kontextfenster ist ein Budget.
Ein Coding-Agent ist größtenteils eine Schleife: erkunden, ändern, ausführen, verifizieren. Die Schleife ist billig zu beschreiben und teuer auszuführen, weil jeder Schritt im Kontextfenster landet und bei jeder folgenden Anfrage erneut bezahlt wird.
Wohin die Token gehen
Ein Agent, der eine Datei liest, den Baum durchsucht, einen Test ausführt und einen Stacktrace liest, erzeugt viel Ausgabe — das meiste davon genau einmal nützlich. Ungestört wächst dieser Verlauf, bis die Anfrage nicht mehr ins Fenster passt. Dann tut ein Agent eines von zwei schlechten Dingen: Er schneidet ab und verliert den Faden, oder er bleibt ganz stehen.
Beides ist nicht nötig. Die Ausgabe eines Tool-Aufrufs ist nicht für immer gleich wertvoll. Eine Datei, die du vor zwanzig Schritten gelesen hast, lässt sich meist zusammenfassen; das Ergebnis von vor einem Schritt trägt die aktuelle Entscheidung. Ein Kontextsystem sollte das widerspiegeln.
Drei Ebenen, jede tut das Günstigste
iCode Agent verwaltet den Kontext an jeder Grenze, vom Günstigsten zum Teuersten:
- An der Quelle begrenzen. Übermäßig große Tool-Ausgabe wird schon bei der Entstehung begrenzt — mit kurzer Vorschau in eine Datei ausgelagert —, damit ein einzelnes riesiges Ergebnis das Fenster gar nicht erst flutet.
- Zur Anfragezeit reduzieren. Nur wenn eine Anfrage ihr Eingabebudget überschreiten würde, werden ältere Tool-Ergebnisse durch kompakte Marker ersetzt — die ältesten zuerst und nur so viele, wie nötig sind, um zu passen. Der aktuelle Turn ist geschützt: Daran arbeitet der Agent gerade.
- Dauerhaft zusammenfassen. Wenn der Verlauf wirklich überläuft, werden ältere Turns zu einer Nachricht zusammengefasst, wobei ein aktueller Rest erhalten bleibt, damit die Sitzung weiterläuft statt zu enden.
Reduktion muss umkehrbar sein
Abschneiden kostet Informationen. Die interessante Designfrage ist, wie man reduziert, ohne den Faden zu verlieren. Die Antwort von iCode Agent: Ein zurückgehaltenes Ergebnis wird nicht gelöscht — es wird durch einen strukturierten Verweis zurück ersetzt:
- Ein Weg zur vollständigen Ausgabe. Der Marker nennt, wo der Inhalt noch liegt — die ausgelagerte Datei oder die Datei, aus der gelesen wurde —, damit der Agent für Details zurückgehen kann, statt zu raten.
- Fehlerbelege werden nie zurückgehalten. Fehler und fehlgeschlagene Befehle sind genau die Fakten, auf die eine lange Aufgabe angewiesen ist; sie überleben daher, auch wenn alles um sie herum reduziert wird.
- Dein Verlauf wird durch Reduktion nie umgeschrieben. Reduktion ist nur eine Sicht zur Anfragezeit. Die gespeicherte Sitzung behält jedes Ergebnis.
Warum das für die Kosten zählt
Kosten in einem Coding-Agenten sind keine einzelne Zahl — sie sind die Größe jeder Anfrage, multipliziert mit der Anzahl der Schritte. Ein kleinerer, gut verwalteter Kontext ist nicht nur günstiger; er hält auch eine lange Aufgabe kohärent, weil das Modell nicht in veralteter Ausgabe ertrinkt.
Das Ziel ist nicht der kleinstmögliche Kontext. Es ist der kleinste Kontext, der die Frage noch beantwortet — mit einem Weg zurück zum Rest.
Die hier beschriebene Mechanik ist in der Kontextschicht von iCode Agent implementiert; siehe das Projekt-Repository.