Q.011Copilotの基本・種類

Copilotが間違った答え(ハルシネーション)を出すのはなぜ?

公開日  運営:Copilotの疑問100運営事務局

生成AIは、膨大な文章から学んだ「ことばの自然な続き」を作るしくみで答えるため、事実と違う内容をもっともらしく答えることがあります。これをハルシネーション(幻覚)と呼びます。Copilotは出典のリンクを示しますが、リンク先と回答の内容がずれることもあるため、大事な情報は出典を開いて確かめるのが基本です。

Copilotの答えを確かめる流れ1答えを受け取るまずは「下書き」として読む2出典リンクを開く数字・固有名詞・日付は元の資料で確認3公式・一次情報と照らす省庁・メーカー・法律の原文など4使う・直す違えば「出典の該当箇所を示して」と聞き直す
Copilotの答えを確かめる流れ

誤りが起きやすい理由

  • 情報が足りない:資料にない内容を、それらしく補ってしまう
  • 情報が古い・混ざる:改正前の制度や、似た別の製品の情報を混ぜる
  • 質問があいまい:何について聞いているかを取り違える
  • 誘導される:「〜ですよね?」と聞くと、合わせた答えを作りやすい

誤りを減らす頼み方

×避けたい聞き方

「〇〇の法律って△△ですよね?」

○おすすめの聞き方

「〇〇の法律の該当条文と、公式の解説ページのURLを示して。不明なら不明と書いて」

  1. 根拠となる資料を添付するか、公式サイトを指定する
  2. 「推測で補わない」「不明な点は不明と書く」と明記する
  3. 答えのあとに「根拠を示して」「反対の見方は?」と追加で聞く

見抜くためのチェック

  • 出典リンクを開き、回答と同じことが書いてあるか
  • 数字・日付・固有名詞を一次情報(省庁・メーカー・原文)と照らす
  • 別の聞き方で質問し、答えがぶれないかを見る

確認の方法は回答の事実確認の方法で、出典の見方は出典(引用元)の見方でくわしく説明しています。

出典:GitHub Docs「About Copilot code review」、Microsoft Learn「Privacy and protections」

↑