コンテキストウィンドウとは？長いAIチャットが劣化する理由

大事なのは1つだけ：毎回使われる、決まった大きさの枠

どのAIチャットにも、モデルが一度に読み込めるテキストの量に限りがあります。その限りが コンテキストウィンドウ です。どこまでも増えていく記憶ではなく、大きさの決まった枠です。

モデルは、人のようにチャットを覚えているわけではありません。メッセージを送るたびに、その枠に収まるものをもとに答えを作ります。モデルへの指示、あなたのメッセージ、モデルの回答、追加したファイル。そのすべてが、毎回あらためて読み込まれます。別の枠があるわけではなく、チャットが長くなっても枠は大きくなりません。

ひとことで言うと。

コンテキストウィンドウとは、モデルが1回の返信で目を通せるテキストの量のことです。チャット全体が、その枠を取り合っています。チャットが枠より大きくなると、どこかを削るしかなくなります。

長いチャットが劣化する理由

最初のうちは、すべてが枠に収まります。モデルには、あなたの目的も、ルールも、決めたことも全部見えています。全体像が見えているから、的確に感じられるのです。

チャットが長くなるにつれて、枠は埋まっていきます。すると、ツールは場所を空けるために、いま関係が薄そうな部分を落としたり、縮めたりします。それは多くの場合、いちばん古い部分です。本当の目的や、いちばん大事なルールを伝えた最初のメッセージです。しかも、枠がいっぱいになる前から、とても長いチャットではモデルの注意が全体に薄く広がってしまいます。

ですから、目につく症状はでたらめに起きているわけではありません。

• 前に決めたことを忘れる。 決着をつけたやり取りが、見えないところに行っています。
• 答えたことを、また聞いてくる。
• 自分の言ったことと矛盾する。 まだ見えている部分だけで考えるしかないからです。
• 目的からずれていく。 最初のメッセージより、最近のメッセージのほうが重く扱われます。

これは コンテキストロット（context rot）と呼ばれています。枠に収まりきらなくなったチャットの質が、少しずつ落ちていく現象です。何かが壊れたわけではありません。枠が埋まっただけです。

丁寧に頼んでも直らない理由

つい「前に決めたことを覚えておいてください」と書きたくなります。でも、その決めごとが見えないところにあるなら、覚えておくものがそもそもありません。しかも、新しいメッセージを送るたびに、最初の部分がまた少し押し出され、かえって悪化します。

同じチャットの中で説明し直しても、なかなか定着しないのも同じ理由です。説明そのものも枠を使いますし、原因はそのまま残っています。

新しいチャットと引き継ぎプロンプト

新しいチャットには、たっぷり余裕があります。そこに入れたものには、モデルの注意がしっかり向きます。コツは、大事なことだけを 引き継ぎプロンプト と呼ばれる短いメッセージにまとめて持っていくことです。

1. 目的：何を作っているのかを、1〜2文で。
2. 決まったこと：決着がついていて、蒸し返されたくないこと。
3. ルール：何度も繰り返していたもの。
4. 現在の状況：終わったこと、進めている途中のこと、次にやること。

短くまとめましょう。モデルに必要なものは渡しつつ、新しい枠はできるだけ使わないのがポイントです。長いやり取りを丸ごと貼るより、短い引き継ぎプロンプトのほうがうまくいきます。

もっと速く：Uncook に書かせる

長いチャットを読み返して、目的や決まったことを探し出すのは面倒な作業です。それを代わりにやるのが、Uncook の Handoff です。Uncook が読み取るAIのチャットなら、どれでも使えます。チャットを開いて Uncook のアイコンをクリックし、Handoff を選びます。目的、決まったこと、ルール、現在の状況がまとまります。新しいチャットにコピーして、新しいチャットの最初のメッセージとして貼り付けます。