生成AIは、人間が作成した文章と見分けがつかないほど自然な回答を生成することがあります。
しかし、その回答が必ずしも正確であるとは限りません。
AIが事実と異なる情報を、あたかも正しい情報であるかのように提示する現象は、ハルシネーションと呼ばれています。
企業が生成AIを業務に利用する場合、この問題は単なる技術的な欠点では済まされません。
誤った回答が顧客への説明や重要な経営判断に利用されれば、損害賠償や信用低下につながる可能性があります。
エア・カナダの事例が示した問題
2024年、カナダの航空会社エア・カナダのチャットボットが、航空券の割引制度について誤った案内をした問題が注目されました。
利用者はチャットボットの説明を信頼して航空券を購入しましたが、実際の制度とは内容が異なっていました。
紛争処理の結果、航空会社側に賠償が命じられました。
この事例で重要なのは、企業が提供したAIの回答について、企業自身の責任が問題になったことです。
顧客から見れば、企業の公式な窓口で提供された情報です。
その情報が人間によって作成されたのか、AIによって生成されたのかは、企業の責任を考えるうえで決定的な違いとは限りません。
AIの誤回答が発生する理由
生成AIは、質問に対して確率的な処理によって文章を生成します。
そのため、もっともらしい回答を作成しても、内容の正確性が保証されるわけではありません。
特に、法律、税務、会計、金融商品などの分野では、制度の改正や個別事情によって正しい回答が変わります。
例えば、税務部門が生成AIに法人税の取扱いを質問した場合を考えます。
AIが過去の制度に基づく回答を提示したり、実在しない通達を引用したりする可能性があります。
担当者が内容を確認せずに申告書の作成や顧客への説明に利用すれば、税務上の問題が生じかねません。
AIの回答は、専門的な判断を行うための参考資料として利用し、必要な根拠を確認することが重要です。
法的責任は誰が負うのか
AIが誤った判断をした場合、責任の所在は利用形態によって異なります。
AIを開発した事業者、導入した企業、実際に利用した担当者など、複数の関係者が存在するためです。
企業が顧客向けサービスとしてAIを提供している場合には、契約上の責任や不法行為責任などが問題になる可能性があります。
また、従業員がAIの回答を利用して誤った業務処理を行った場合には、企業の内部管理体制も検討対象になります。
ただし、AIによる誤回答が発生したという事実だけで、必ず法的責任が認められるわけではありません。
具体的な契約関係、注意義務、損害の内容、因果関係などによって判断されます。
重要なのは誤回答を前提とした管理
AIの誤回答を完全になくすことは容易ではありません。
そのため、企業はAIが誤る可能性を前提として管理体制を構築する必要があります。
例えば、顧客への重要な説明については、AIが生成した回答を人間が確認する仕組みが考えられます。
法律や税務などの専門的な回答では、根拠資料の確認を必須とする方法も有効です。
また、AIが回答できない事項を明確にし、必要に応じて専門担当者へ引き継ぐ仕組みも重要です。
すべての回答を人間が確認すると効率化の効果が薄れるため、業務のリスクに応じて確認水準を変えることが現実的です。
企業の信用を守るための対応
AIによる誤回答が発生した場合、迅速な対応が必要です。
誤った情報の訂正、顧客への説明、影響範囲の調査、再発防止策の実施などが考えられます。
さらに、問題が発生した原因を検証しなければなりません。
AIの設定に問題があったのか。
参照する情報が古かったのか。
担当者による確認が不十分だったのか。
それとも、業務への導入自体に問題があったのか。
原因を特定し、管理体制を改善することが重要です。
結論
生成AIの誤回答は、企業にとって避けて通れない経営リスクです。
重要なのは、AIを利用しないことではありません。
AIの限界を理解し、誤った回答が重大な損害につながらない仕組みを整備することです。
AIによって業務の効率化が進むほど、人間による確認や責任ある判断の重要性は高まります。
企業が顧客や投資家から信頼されるためには、AIの便利さだけでなく、その回答に対する責任を明確にする必要があります。
参考
日本経済新聞 2026年10月17日 世界の機関投資家、AI利用を監視 管理不十分なら取締役の選任に反対