AI助言が批判的思考を抑制し、誤った確信を助長―研究が実証
AI助言へのアクセスにより、人々の正答率は3分の1に低下しても確信は2倍に上昇することが、フランス・イタリアの大学研究チームによる調査で明らかになった。
フランス・イタリアの3つの大学の研究者らは、AI助言が人々の「わかりません」と言う意思を44%から3%に激減させることを発見した。同時に正答率は27%から9%に低下する一方で、確信度は30%から76%に上昇した。University of Milano-Bicocca、École Normale Supérieure、Sapienza University of Rome、およびWhartonの研究チームが実施したこの研究では、AIモデルが典型的に失敗する設問――『Bend It Like Beckham』のチーム制服の色など映画の視覚的詳細――を意図的に使用した。
研究の設計と結果
研究チームはClaude 3.5 Flashというモデルを使用し、このモデルがこうした設問でほぼ常に間違えることを確認した。Valerio Capraro（University of Milano-Bioccaの准教授）は「People became much worse, the accuracy was only one third, but they were twice as confident」と述べた。同氏は「For humans, the capacity to say 'I don't know' is very important because it represents the recognition of the limits of our own knowledge」と指摘している。
興味深いことに、自力では正答していたはずの参加者の一部が、AIに相談した後に誤った答えを選択する結果となった。
インセンティブの効果と既往研究
金銭的インセンティブにより改善が見られたものの、限定的であった。「わかりません」と答える意思は3%から8%に上昇し、正答率は9%から16%に改善したにとどまった。
Whartonの研究者らは、人々がAIの誤った回答を80%の頻度で受け入れる現象を説明するため「cognitive surrender（認知的降伏）」という用語を造語している。また、Common Sense Mediaはこうした設計を「unacceptable risk」と評価している。Google の AI検索の刷新が確信を持ったAI生成サマリーでリンクを置き換えたことに対して、同団体はこの懸念を表明した。
この記事は元記事の事実のみに基づいて自動生成されました。
筆者の見立て
- AI製品は「わかりません」と決して答えないよう設計されており、それを使用する人間も同じ行動パターンを習得しつつあると論じている
- 批判的思考スキルが発達する前にこれらのシステムとともに成長する子どもたちについて、特に懸念を示唆している
- AIの単なる利用可能性が、何を知らないかを認識する認知習慣を抑制するという指摘を解釈している
出典
The Next Web「AI advice made people three times less accurate but twice as confident, researchers found」https://thenextweb.com/news/ai-advice-suppresses-critical-thinking-wrong-answers-study (Wharton researchers、Common Sense Media の報道による)