ニューメキシコ州の法廷でAIによるハルシネーションが波紋
- •2023年以降、ニューメキシコ州の裁判所で少なくとも7件の訴訟がAI由来の虚偽情報により混乱に陥った。
- •裁判資料に捏造された判例を提出したとして、弁護士や本人訴訟当事者が制裁対象となっている。
- •裁判官らは現在、AIを活用した法的文書に対し、開示義務と厳格な事実確認を義務付けている。
判例と検証可能な真実を礎としてきた司法制度が、現代の破壊的な課題である「ハルシネーション」に直面している。大規模言語モデル（LLM）が法律専門家や一般市民の文書作成補助として普及する中、公的な裁判書類に架空の引用が紛れ込む事例が急増している。これらは単なる誤字や形式のミスではない。現実には存在しない法律論争や判例が、実在するかのように法廷文書に盛り込まれているのだ。
この問題の根源には、生成AIの機能に対する誤解がある。多くの利用者は、AIを百科事典やデータベースのように「確実な情報を取り出すツール」として扱っている。しかし、実際にはこれらは確率的に次に来る単語を予測するシステムに過ぎない。モデル内に該当する情報が欠けている場合、AIは「知らない」と答える代わりに、もっともらしく聞こえる虚偽の文章を生成してしまうのだ。
法廷という緊迫した場において、この特性は深刻な結果を招く。弁護士が実際には存在しない判例を引用した準備書面を提出すれば、司法リソースは浪費され、裁判官は実在しない文献の捜索を強いられることになる。これは司法プロセスの誠実性を根本から揺るがす行為である。実際に、数十件もの誤りを含む書面を提出した弁護士に対し、罰金や倫理研修の受講が命じられる事態も発生している。
司法の対応は迅速かつ厳格化している。ニューメキシコ州では、単なる警告にとどまらず、裁判官が独自の手続き命令を下す動きが広がった。これによれば、弁護士や本人訴訟当事者を問わず、生成AIを使用して文書を作成または修正した場合は、その旨を冒頭で開示することが義務付けられた。さらに、引用した全ての出典を従来の信頼できる法的データベースと照合したことを証明しなければならない。
この傾向は、AIの専門的な活用における転換点を示している。AIの活用自体を否定するのではなく、効率化という利便性と引き換えに、人間による検証が不可欠であるという「ヒューマン・イン・ザ・ループ」の原則を再確認させるものだ。法律や医療、金融といった専門分野にAIを組み込む際、真実性を担保する責任は常に人間にある。自動生成された文書の利便性は、決して法的な厳密さに取って代わることはできないのだ。