¿Qué es la ventana de contexto? Por qué tu chat de IA empeora

La idea clave: un espacio fijo, que se usa en cada turno

Todo chat con IA tiene un límite de cuánto texto puede abarcar el modelo a la vez. Ese límite es la ventana de contexto. No es una memoria que crece para siempre. Es un espacio fijo.

El modelo no recuerda tu chat como lo haría una persona. Cada vez que mandas un mensaje, trabaja con lo que cabe en ese espacio: sus instrucciones, tus mensajes, sus respuestas y los archivos que agregaste. Todo vuelve a entrar, en cada turno. No hay un segundo espacio, y no se agranda a medida que tu chat crece.

La versión corta.

La ventana de contexto es la cantidad de texto que un modelo puede mirar en un turno. Todo tu chat compite por ese espacio. Cuando el chat se vuelve más grande que el espacio, algo tiene que ceder.

Por qué los chats largos empeoran

Al principio, todo cabe. El modelo ve tu objetivo, tus reglas, cada decisión. Se siente preciso porque tiene el panorama completo.

A medida que el chat crece, el espacio se llena. Entonces la herramienta tiene que hacer lugar, dejando fuera o comprimiendo lo que parece menos relevante en ese momento. Muchas veces es la parte más antigua: tu primer mensaje, donde planteaste el objetivo real y las reglas que más importan. Y aun antes de que el espacio se llene, un chat muy largo dispersa la atención del modelo.

Así que lo que notas no es al azar:

• Olvida decisiones anteriores. El turno en el que resolviste algo quedó fuera de la vista.
• Vuelve a preguntar cosas que ya respondiste.
• Se contradice. Solo puede razonar con lo que todavía está a la vista.
• Se aleja de tu objetivo. Los mensajes recientes pesan más que el principio.

A esto se le llama context rot (el deterioro del contexto): la caída lenta de calidad de un chat que ya no cabe en su espacio. No se rompió nada. El espacio se llenó.

Por qué pedirlo amablemente no lo arregla

El instinto es escribir «por favor, acuérdate de lo que acordamos antes». Pero si ese acuerdo quedó fuera de la vista, no hay nada que recordar. Y cada mensaje nuevo saca un poco más del principio, lo que lo empeora.

Por eso también volver a explicar dentro del mismo chat casi nunca funciona: la explicación también ocupa espacio, y la causa sigue ahí.

Un chat nuevo, más un relevo

Un chat nuevo empieza con espacio de sobra, y todo lo que pongas en él recibe toda la atención. La clave es llevar solo lo que importa, en un mensaje corto que se llama relevo (en inglés, handoff):

1. El objetivo: una o dos oraciones sobre lo que estás haciendo.
2. Lo decidido: lo que ya está resuelto y no se debe volver a abrir.
3. Las reglas: las que te encontraste repitiendo.
4. Dónde estás: lo que está listo, lo que está a medias y el siguiente paso.

Que sea breve. La idea es usar lo menos posible del espacio nuevo y darle al modelo lo que necesita. Un relevo corto funciona mejor que una transcripción gigante.

La forma rápida: que Uncook lo escriba

Releer un chat largo para encontrar el objetivo y las decisiones es la parte tediosa. Handoff, de Uncook, lo hace por ti, con chats de cualquiera de las IA compatibles que lee. Abre el chat, haz clic en el ícono de Uncook y elige Handoff. Obtienes el objetivo, lo decidido, las reglas y dónde estás. Cópialo en un chat nuevo.