iCode Agent · Engenharia

A janela de contexto é um orçamento.

Um agente de programação é basicamente um ciclo: explorar, alterar, executar, verificar. O ciclo é barato de descrever e caro de executar, porque cada etapa cai na janela de contexto e é paga de novo em cada requisição seguinte.

Para onde vão os tokens

Um agente que lê um arquivo, busca na árvore, executa um teste e lê um stack trace produz muita saída — a maior parte útil exatamente uma vez. Deixado sozinho, esse histórico cresce até a requisição não caber mais na janela. Nesse ponto, o agente faz uma de duas coisas ruins: trunca e perde o fio da meada, ou trava de vez.

Nenhuma das duas é necessária. A saída de uma chamada de ferramenta não tem o mesmo valor para sempre. Um arquivo lido vinte etapas atrás geralmente pode ser resumido; o resultado obtido uma etapa atrás é no que a decisão atual se apoia. Um sistema de contexto deveria refletir isso.

Três camadas, cada uma fazendo o que é mais barato

O iCode Agent gerencia o contexto em cada fronteira, da mais barata à mais cara:

  1. Limite na origem. Saídas de ferramenta muito grandes são limitadas conforme são produzidas — redirecionadas para um arquivo com uma prévia curta — para que um único resultado enorme não inundar a janela logo de início.
  2. Reduza no momento da requisição. Apenas quando uma requisição excederia seu orçamento de entrada, os resultados de ferramenta mais antigos são substituídos por marcadores compactos, dos mais antigos para os mais novos, e somente quantos forem necessários para caber. O turno atual é protegido: é nele que o agente está trabalhando.
  3. Resuma de forma durável. Quando o histórico realmente transborda, os turnos mais antigos são resumidos em uma mensagem, preservando um trecho recente do final, para que a sessão continue em vez de terminar.

A redução precisa ser reversível

O truncamento perde informação. A pergunta de design interessante é como reduzir sem perder o fio da meada. A resposta do iCode Agent é que um resultado retido não é excluído — ele é substituído por um ponteiro estruturado de volta:

  • Um caminho para a saída completa. O marcador indica onde o conteúdo ainda está — o arquivo para onde a saída foi redirecionada ou o arquivo de onde veio uma leitura — para que o agente possa voltar aos detalhes em vez de adivinhar.
  • Evidências de falha nunca são retidas. Erros e comandos que falharam são exatamente os fatos dos quais uma tarefa longa depende, então sobrevivem mesmo quando tudo ao redor é reduzido.
  • Seu histórico nunca é reescrito pela redução. A redução é apenas uma visão no momento da requisição. A sessão salva mantém todos os resultados.

Por que isso importa para o custo

O custo em um agente de programação não é um número único — é o tamanho de cada requisição multiplicado pelo número de etapas. Um contexto menor e bem gerenciado não é apenas mais barato; é também o que mantém uma tarefa longa coerente, porque o modelo não está afogado em saídas obsoletas.

O objetivo não é o menor contexto possível. É o menor contexto que ainda responde à pergunta — com um caminho de volta para o restante.

A mecânica descrita aqui está implementada na camada de contexto do iCode Agent; veja o repositório do projeto.