長いチャットでChatGPTがハルシネーションを起こしているように見える理由

見た目がそっくりな、2つの問題

しばらくやり取りを続けてきたら、ChatGPT が事実でないことを言い出した。伝えた覚えのない細かい話を持ち出す。本当ではないことを、事実として言い切る。決めてもいない決定を「覚えている」。

何かがおかしい。その感覚は正しいのです。ただ、外から見るとまったく同じに見える問題が2つあり、取るべき対応はそれぞれ違います。

ハルシネーションとは

ハルシネーションは実際に起きる、よく知られた現象です。AIは、存在しない出典や間違った数字、事実ではない話を、自信たっぷりに述べることがあります。まっさらな新しいチャットの、最初の回答でも起こりえます。これをなくせるツールはありません。大事な場面では、重要な事実を信頼できる情報源で確かめてください。

長いチャットが、すき間を埋め始めるわけ

もう1つの問題は、チャットそのものから生まれます。ChatGPT が一度に読み込めるチャットの量には限りがあります。チャットが長くなるにつれて、最初のほうの内容には注意が向きにくくなったり、視野から外れたりします。そしてそこには、たいてい最初に伝えた大事なこと、つまり目的、事実、基本のルールが書かれています。

それがもう見えなくなると、ChatGPT は話を進めるために、すき間をいちばんありそうな推測で埋めます。もう見えないことについての自信ありげな推測は、話を作っているのとまったく同じに見えるのです。

2つを見分けるには。

新しいチャットでも、最初から事実が間違っている？ それはハルシネーションに近いものです。事実を確かめてください。間違いが出てくるのは長いチャットのあとだけで、しかもほとんどが、前にあなた自身が伝えた細かい話について？ チャットの枠が足りなくなっているのです。あなたの事実を入れた新しいチャットが役に立ちます。

訂正すると、かえって悪化するわけ

つい「違う、そうじゃない。前に話したのはこうだ」と正したくなります。もっともな反応ですが、訂正するたびに、いっぱいのチャットにさらに文章が増え、最初のほうの文脈がますます視野の外へ押し出されます。いっぱいのチャットは、書き足しても正確にはなりません。

新しいチャットに、本当の事実を

新しいチャットを開き、大事なことだけを数行にまとめて持っていきましょう。推測で埋めるすき間が、それだけ少なくなります。

• 目的：何をしようとしているのか。
• 決まったこと：「覚え違い」をさせないために。
• 何度も繰り返した事実とルール：ChatGPT が見失い続けていた細かい話。
• 今どこにいるか：現在の状況と、次の一歩。

別のチャットの続きです。以下の事実だけを使ってください。確かでないときは、推測せずにそう伝えてください。
- 取り組んでいること：[目的]
- 決まったこと：[一覧]
- 大事な事実とルール：[見失われがちだった細かい話]
- 現在の状況：[今の状態]

次に手伝ってほしいこと：[次の一歩]

新しいチャットでも、ハルシネーションが完全になくなるわけではありません。それはどのチャットでも同じです。ただ、すき間の代わりに、あなたの本当の文脈が目の前にある状態で始められます。

もっと速く：Uncook に書かせる

長いチャットをさかのぼって本当の事実を拾い出すのは、時間のかかる作業です。それを Uncook の Handoff が引き受けます。ChatGPT のページで Uncook のアイコンをクリックし、Handoff を選んでください。チャットから、目的、決まったこと、ルール、今どこにいるかがまとまります。読んで、事実を確かめたら、新しいチャットにコピーして、新しいチャットの最初のメッセージとして貼り付けます。Claude や Gemini のチャットでも、同じように使えます。