iCode Agent · エンジニアリング

コンテキストウィンドウは予算です。

コーディングエージェントの大半はループです。探索し、変更し、実行し、検証する。説明するのは簡単ですが、実行は高くつきます。すべてのステップがコンテキストウィンドウに残り、その後のリクエストのたびに再びコストを払うからです。

トークンの行き先

エージェントがファイルを読み、ツリーを検索し、テストを実行し、スタックトレースを読むと、大量の出力が生まれます。その大半は一度だけ役に立つものです。放っておくと履歴は膨らみ、やがてリクエストがウィンドウに収まらなくなります。そのときエージェントは 2 つの悪い選択肢のどちらかを選びます。切り詰めて流れを失うか、完全に止まるかです。

どちらも必要ではありません。ツール呼び出しの出力が、いつまでも同じ価値を持つわけではないからです。20 ステップ前に読んだファイルは通常は要約できますが、1 ステップ前の結果こそが現在の判断の根拠です。コンテキストシステムはそれを反映すべきです。

3 つの層が、それぞれ最も安価な処理を担う

iCode Agent は、安価なものから高価なものまで、あらゆる境界でコンテキストを管理します。

  1. 発生源で上限を設ける。大きすぎるツール出力は生成時に上限が設けられ、短いプレビューとともにファイルへ退避されるため、単一の巨大な結果が最初からウィンドウをあふれさせることはありません。
  2. リクエスト時に削減する。リクエストが入力予算を超える場合に限り、古いツール結果を古い順に、収まる分だけコンパクトなマーカーへ置き換えます。現在のターンは保護されます。エージェントが今取り組んでいる内容だからです。
  3. 永続的に要約する。履歴が本当にあふれたときは、最近の末尾を残して古いターンを 1 つのメッセージに要約し、セッションを終わらせずに続行します。

削減は可逆でなければならない

切り詰めると情報は失われます。面白い設計上の問いは、流れを失わずにどう削減するかです。iCode Agent の答えは、省略した結果を削除せず、構造化されたポインターに置き換えることです。

  • 完全な出力への道。マーカーはコンテンツがまだ存在する場所(退避先のファイル、または読み取り元のファイル)を示すため、エージェントは推測せずに詳細へ戻れます。
  • 失敗の証拠は決して省略されません。エラーと失敗したコマンドこそ、長いタスクが依拠する事実であり、周囲がどれほど削減されても残ります。
  • 削減によって履歴が書き換えられることはありません。削減はリクエスト時の表示にすぎません。保存されたセッションにはすべての結果が残ります。

コストにとって重要な理由

コーディングエージェントのコストは 1 つの数値ではありません。すべてのリクエストのサイズに、ステップ数を掛けたものです。小さく適切に管理されたコンテキストは、安くなるだけでなく、長いタスクの一貫性も保ちます。モデルが古い出力に溺れずに済むからです。

目的は、可能な限り最小のコンテキストではありません。問いに答えられる最小のコンテキストであり、残りへ戻る道を確保することです。

ここで説明した仕組みは iCode Agent のコンテキスト層に実装されています。詳しくはプロジェクトリポジトリをご覧ください。