iCode Agent · 엔지니어링

컨텍스트 윈도우는 예산입니다.

코딩 에이전트는 대부분 하나의 루프입니다. 탐색, 변경, 실행, 검증. 이 루프는 설명하기 쉽지만 실행은 비쌉니다. 모든 단계가 컨텍스트 윈도우에 쌓이고, 이후의 모든 요청에서 다시 비용을 치르기 때문입니다.

토큰은 어디로 가는가

에이전트가 파일을 읽고, 트리를 검색하고, 테스트를 실행하고, 스택 트레이스를 읽으면 많은 출력이 생깁니다. 대부분은 딱 한 번만 유용합니다. 그대로 두면 기록이 커져 요청이 더 이상 창에 들어가지 않습니다. 그 시점에 에이전트는 두 가지 나쁜 선택 중 하나를 합니다. 잘라내고 흐름을 잃거나, 아예 멈추거나.

둘 다 필요 없습니다. 도구 호출의 출력은 영원히 같은 가치를 지니지 않습니다. 스무 단계 전에 읽은 파일은 대개 요약할 수 있지만, 한 단계 전에 얻은 결과는 현재 결정의 근거입니다. 컨텍스트 시스템은 이를 반영해야 합니다.

세 계층이 각자 가장 저렴한 일을 맡는다

iCode Agent는 가장 저렴한 것부터 가장 비싼 것까지 모든 경계에서 컨텍스트를 관리합니다.

  1. 원천에서 제한. 너무 큰 도구 출력은 생성되는 즉시 제한되어 짧은 미리보기와 함께 파일로 넘겨지므로, 하나의 거대한 결과가 애초에 창을 범람시키지 못합니다.
  2. 요청 시점에 축소. 요청이 입력 예산을 초과할 때만 오래된 도구 결과를 오래된 것부터 간결한 마커로 바꾸며, 맞추는 데 필요한 만큼만 바꿉니다. 현재 턴은 보호됩니다. 에이전트가 지금 작업 중인 부분이기 때문입니다.
  3. 내구성 있게 요약. 기록이 정말 넘치면 최근 구간을 남기고 이전 턴을 하나의 메시지로 요약해, 세션이 끝나지 않고 계속됩니다.

축소는 되돌릴 수 있어야 한다

잘라내면 정보가 사라집니다. 흥미로운 설계 질문은 흐름을 잃지 않고 줄이는 방법입니다. iCode Agent의 답은 보류된 결과를 삭제하지 않고, 되돌아갈 수 있는 구조화된 포인터로 대체하는 것입니다:

  • 전체 출력으로 가는 경로. 마커에는 콘텐츠가 아직 있는 위치(넘겨진 파일 또는 읽어 온 파일)가 표시되므로, 에이전트는 추측 대신 세부 내용을 다시 확인할 수 있습니다.
  • 실패 증거는 절대 보류하지 않습니다. 오류와 실패한 명령은 긴 작업이 의존하는 바로 그 사실이므로, 주변이 모두 축소되어도 살아남습니다.
  • 축소는 기록을 다시 쓰지 않습니다. 축소는 요청 시점의 보기일 뿐입니다. 저장된 세션은 모든 결과를 보관합니다.

비용에 왜 중요한가

코딩 에이전트의 비용은 하나의 숫자가 아니라 모든 요청의 크기에 단계 수를 곱한 값입니다. 작고 잘 관리된 컨텍스트는 더 저렴할 뿐 아니라, 모델이 오래된 출력에 파묻히지 않으므로 긴 작업을 일관되게 유지합니다.

목표는 가능한 한 작은 컨텍스트가 아닙니다. 질문에 여전히 답할 수 있는 가장 작은 컨텍스트이며, 나머지로 돌아갈 방법을 함께 둡니다.

여기 설명한 메커니즘은 iCode Agent의 컨텍스트 계층에 구현되어 있습니다. 프로젝트 저장소를 참고하세요.