ハルシネーション
人手不足に対抗する唯一の手段!AI活用!!
みたいな大規模な話ではなく、仕事や日常にすっかり溶け込みつつあるのがChatGPTやGemini、Apple Intelligenceといった、生成AIです。
最近は入社試験の面接の回答や論文も生成AIに作らせていると問題にもなっていますが、それだけ生活に溶け込んだんだなあ。と、私はこれからの社会にワクワクしています。
私自身も面接試験の監督をすることもありますが、面接の回答をAIに用意させること自体は反対ですが、まとまらない自分の意見をAIにすっきりまとめてもらうことには大賛成です。
それは学校の先生に相談して言いたいことをすっきりとまとめてもらうことと、何ら変わりないことだと感じています。
ただし、例えば最近流行のジブリ風の画像を生成AIに出力させるのはダメだと思います。
人がパクったら問題になるのに、それをAIがやったら仕方ない。というのは違うと思います。作者へのリスペクトという考え方が早く浸透してほしいです。なにせ学習できるのがAIのすごいところですからね!
生成AIを利用する上で、気をつけなければならないことの一つに「ハルシネーション」があります。
♪~届けて切なさには
名前をつけようか
「 」~♪
これはスノーハレーション、ラブライブの初代μ’sの名曲。
の話ではありません。
ハルシネーションとは、生成AIが、いかにもそれっぽく嘘を言ってしまう、バグのようなものです。
例を出しましょう。
私)2×3はなんですか?
AI)面白い質問ですね。
2×3=5 つまり、答えは5です。
このように、それっぽく嘘をつくことがあります。
これは×と+がそれぞれ記号のため、識別できないだとか、
ネット上にわざと書いてある嘘(エイプリルフールやフェイクニュース等)の記事を参照してしまうだとか、
様々な要因がありますが、この例のように答えがわかっていれば問題ありません。
ただし、ほとんどの場合、答えがわからないまま、質問が進んでいってしまいます。
私)広島県人の数は何人?
AI)はい、日本の広島県には現在350万人が住んでいます。
私)そのうち今年就活を行う人数は?
AI)推定ですが、大学4年生の7割、高校3年生の5割、大学院2年生の9割が就活を行うと仮定すると、
今年就活を行う広島県人の数は約1.2万人と予想されます。
どうでしょうか?それっぽいですが、まず広島県の人口は以下の通り、270万人です。
令和7年3月1日現在の推計人口は2,707,782人
ちなみにこれは広島県のホームページの情報です。
そして、そもそも大学4年生の8割が~などは私が適当に書いた割合です。
それっぽいでしょ?
このように嘘と分からないことにこそ一番の問題があります。
私たちの学生時代、辞書で調べなさいと言われた国語の単語の宿題をウィキペディアで調べてきて、まんまと嘘の情報を手を上げて発表する人が、
「ウィキペディアや知恵袋じゃなくて辞書で調べろ。」
と出席簿の背でしばかれていました。
それに似たような状況でしょうか?
インターネット黎明期で「ソースは?」と有名な煽り文句がありますが、割とこれは的を射ていて、情報源、ソースを大切にするのはいつの世もとても大切なことだと思います。
で、このハルシネーション。工夫次第で防ぐことが可能です。
いろいろあるのですが、簡単な方法は 指示文(プロンプト)を工夫する方法です。
今回はハルシネーション対策だけではなく、欲しい答えをビシッと出力してもらうためのいくつかのコツを紹介させてください。
1. 学習データの見直し
2023年までの正確なデータを基に内容を提供し、不確かな場合は「わかりません」と答えてください。
などと、学習データについての正確性を求めるプロンプトを工夫すると、参照データに気をつけながら出力してくれます。
2. プロンプトの中に例を示す
3月3日 ひな祭り のように4月の主な行事を5つ教えてください。
というように、出力の例を出してやることで、素っ頓狂な、聞いてもいないことを出力することを防げます。
3. CoT(Chain of Thought チェーンオブソート)で考えさせる
最終的な答えを一度に出力するのではなく、答えに辿り着くまでの考える順番を整理する方法です。
なぜそれを質問するのかの背景や、この質問を最終的に何に使うか等も盛り込んでプロンプトを作成することで、より欲しい答えに近い出力を得ることができます。
質問の後に「ステップバイステップで考えてみましょう」などの簡単な指示を加えるだけでCoTで考えてくれます。
4. 自己一貫性
3回同じことを考えさせるなど、正確性をAI自身に問いかける方法です。
AIは何度も同じことを聞いてもへそを曲げたりはしないので「本当に正しい?」と、何度も聞いて、正確性を確認してください。
5. マルチモーダルCoT
[賑わっているスキー場の画像] この画像のスキー場、夏場も人を呼べそう?
というように、文章だけではなく、例えば画像や音声などをつけて多角的に解析する方法。
どうでしょうか?
よかったらどれか一つでも実践してみてください。
あと、居酒屋でドヤ顔で嘘をついているおっちゃんを見つけたら「ハルシネーションすな!」って突っ込んであげてください。
その人がAIジャンキーなら一発で仲良くなれますよ!
ハルシネーションって言葉、普及させたい。流行らせたい。。。