O que é a janela de contexto? Porque é que a sua conversa com a IA piora

A ideia central: um espaço fixo, usado a cada resposta

Cada conversa com uma IA tem um limite para a quantidade de texto que o modelo consegue ter em conta de uma só vez. Esse limite é a janela de contexto. Não é uma memória que cresce para sempre. É um espaço fixo.

O modelo não se lembra da sua conversa como uma pessoa se lembra. Sempre que envia uma mensagem, trabalha a partir do que cabe nesse espaço: as instruções que recebeu, as suas mensagens, as respostas dele e os ficheiros que juntou. Tudo isso volta a entrar, a cada resposta. Não há um segundo espaço, e ele não aumenta à medida que a conversa cresce.

A versão curta.

A janela de contexto é a quantidade de texto que um modelo consegue ver numa resposta. A sua conversa inteira disputa esse espaço. Quando a conversa fica maior do que o espaço, alguma coisa tem de ceder.

Porque é que as conversas longas pioram

No início, cabe tudo. O modelo vê o seu objetivo, as suas regras, cada decisão. Parece afinado porque tem o quadro completo.

À medida que a conversa cresce, o espaço enche. A ferramenta tem então de arranjar lugar: deixa de fora ou comprime o que parece menos relevante no momento. Muitas vezes é a parte mais antiga: a sua primeira mensagem, onde definiu o verdadeiro objetivo e as regras que mais importam. E, mesmo antes de o espaço encher, uma conversa muito longa dispersa a atenção do modelo.

Por isso, o que nota não é ao acaso:

• Esquece decisões anteriores. A mensagem em que arrumou um assunto está fora de vista.
• Volta a perguntar coisas a que já lhe respondeu.
• Contradiz-se. Só consegue raciocinar sobre o que ainda está à vista.
• Afasta-se do seu objetivo. As mensagens recentes pesam mais do que o início.

Chama-se a isto context rot: a queda lenta de qualidade de uma conversa que ficou maior do que o seu espaço. Nada se avariou. O espaço encheu.

Porque é que pedir com boas maneiras não resolve

O instinto é escrever «por favor, lembre-se do que combinámos antes». Mas, se esse acordo está fora de vista, não há nada de que se lembrar. E cada nova mensagem empurra mais um pouco do início para fora, o que piora as coisas.

É também por isso que voltar a explicar dentro da mesma conversa raramente pega: a explicação também ocupa espaço, e a causa continua lá.

Um novo chat, com um handoff

Um novo chat começa com espaço de sobra, e tudo o que lá põe recebe atenção total. O segredo é levar só o que importa, numa mensagem curta chamada handoff:

1. O objetivo: uma ou duas frases sobre o que está a fazer.
2. O que está decidido: o que está arrumado e não deve ser reaberto.
3. As regras: as que deu por si a repetir.
4. Onde está: o que está feito, o que está em curso e o próximo passo.

Seja conciso. A ideia é usar o mínimo possível do novo espaço e, ainda assim, dar ao modelo aquilo de que precisa. Um handoff curto resulta melhor do que uma transcrição gigante.

A forma mais rápida: deixe o Uncook escrevê-lo

Reler uma conversa longa à procura do objetivo e das decisões é a parte aborrecida. O Handoff do Uncook faz isso por si, com conversas de um site de IA compatível. Abra a conversa, clique no ícone do Uncook e escolha Handoff. Recebe o objetivo, o que está decidido, as regras e onde está. Copie-o para um novo chat.