生成AIは、膨大な文章から学んだ「ことばの自然な続き」を作るしくみで答えるため、事実と違う内容をもっともらしく答えることがあります。これをハルシネーション(幻覚)と呼びます。Copilotは出典のリンクを示しますが、リンク先と回答の内容がずれることもあるため、大事な情報は出典を開いて確かめるのが基本です。
誤りが起きやすい理由
- 情報が足りない:資料にない内容を、それらしく補ってしまう
- 情報が古い・混ざる:改正前の制度や、似た別の製品の情報を混ぜる
- 質問があいまい:何について聞いているかを取り違える
- 誘導される:「〜ですよね?」と聞くと、合わせた答えを作りやすい
誤りを減らす頼み方
×避けたい聞き方
「〇〇の法律って△△ですよね?」
○おすすめの聞き方
「〇〇の法律の該当条文と、公式の解説ページのURLを示して。不明なら不明と書いて」
- 根拠となる資料を添付するか、公式サイトを指定する
- 「推測で補わない」「不明な点は不明と書く」と明記する
- 答えのあとに「根拠を示して」「反対の見方は?」と追加で聞く
見抜くためのチェック
- 出典リンクを開き、回答と同じことが書いてあるか
- 数字・日付・固有名詞を一次情報(省庁・メーカー・原文)と照らす
- 別の聞き方で質問し、答えがぶれないかを見る
確認の方法は回答の事実確認の方法で、出典の見方は出典(引用元)の見方でくわしく説明しています。
出典:GitHub Docs「About Copilot code review」、Microsoft Learn「Privacy and protections」