AIが間違えたら、誰が責任を取るのか
AIツールが間違った答えを出したり、仕事を壊したりしたとき、誰が負うのか。この考察は、実際の2つの事例（エア・カナダとMata対Avianca）をたどり、責任の簡単な地図を描き、機械のせいにしないためにチームが今すぐできる5つのことを提案します。
AIを仕事に取り入れるプログラマー、製品に関わる人、チームリーダーのための記事です。むずかしい言葉には短い説明を付けます。
筆者は弁護士ではなく、この記事は法的助言ではありません。 2つの事例は、公開された情報源（法律事務所の要約、報道、オープンな百科事典）から語り直したもので、判決の原文からではありません。「責任の地図」と最後の5つのことは私の意見で、規則ではありません。
先に要点#
- 実際の2つの事例は、**「AIがやったのであって、私ではない」**が誰も助けないことを示しています。
- AIの出力を使う人も、AIを顧客の前に出す側も、確認する役目があります。
- 責任は、ひとりでに持ち主を見つけません。事故の前に名前を付けます。
- チームが今すぐできる5つのこと：責任者1人、リスクの高いところの確認、ログ、人への経路、責めない書き残し。
むずかしい言葉をやさしく#
| 用語 | やさしい意味 |
|---|---|
| チャットボット | ウェブサイトやアプリで自動的に会話するプログラム。 |
| 判例 | 主張を支えるために人が引用する、過去の裁判所の判断。 |
| 民事の解決審判所 | 小さな争いを扱う機関で、普通の裁判所より速く簡単なことが多い。 |
| ログ | AIが何を受け取り、何を答え、いつだったかの記録。 |
| 引き継ぎ | AIに自信がないとき、または大事なときに、人へ回すこと。 |
| 責めない（ブレームレス） | 罰する人を探すのでなく、仕組みの穴を探すために、インシデントを書き残すこと。 |
1. 事例その1：航空会社のチャットボットが間違えた#
法律事務所Manattの要約によると、Moffattという乗客が、エア・カナダのサイトのチャットボットに、忌引き運賃について尋ねました。チャットボットは、通常の航空券を買い、90日以内に差額の払い戻しを申請できると答えました。けれど航空会社の実際の方針は、搭乗後の払い戻しを認めていませんでした。申請すると、航空会社は断りました。
航空会社は、その要約によれば、チャットボットは別の法的な主体で、その言葉に航空会社は責任がないと主張しました。ブリティッシュコロンビア州の民事の解決審判所（Moffatt対エア・カナダ、2024 BCCRT 149）は、この主張を退け、航空会社には注意義務があり、過失による不実表示をしたと判断しました。航空会社は差額を払い戻すことになり、金額は650.88カナダドルと伝えられています。
考える価値があるのは、金額は小さくても、原則は小さくないことです。顧客には、サイトのどのページが「正しく」、どれが「チャットボットのでたらめ」かを知る理由がありません。
2. 事例その2：AIが作り出した判例を弁護士が提出した#
Mata対Avianca（ニューヨークの連邦裁判所、2023年）で、原告の弁護士は、いくつもの判例を引用した書面を提出しました。相手方がそれを見つけられずにいると、ChatGPTが作り出したもので、弁護士は確認していなかったと分かりました。2023年6月22日、裁判官は合計5,000ドルの制裁金を科し、弁護士が「責任を放棄した」と述べました（Wikipedia、Bloomberg Law、Above the Lawによる）。
この事例から私が取るもの：道具は署名せず、使う人が署名する。下書きが機械で書かれたからといって、確認する義務は消えません。
3. 2つの事例、1つの型#
| エア・カナダ | Mata対Avianca | |
|---|---|---|
| AIを出したのは | 会社、顧客に対して | 弁護士、裁判所に対して |
| AIの間違い方 | 方針を誤って伝えた | 判例を作り出した |
| 退けられた主張 | 「チャットボットは別の主体」 | 「道具を信じた」 |
| 欠けていたもの | チャットボットの言葉を確かめた人がいない | 判例を確認した人がいない |
どちらも、最後の段階で確認する責任を持つ名前のある人が欠けていました。
4. 責任の地図（私の意見）#
AIが間違えたとき、たいてい4つの当事者がいて、それぞれに役目があります：
| 当事者 | 妥当な分担 |
|---|---|
| AIを使う最終利用者や従業員 | 頼る前や送る前に、自分の役割の範囲で結果を確認する |
| AIを作って出すチーム | 確認の場所を設計し、範囲を限り、人への経路を用意し、品質を測る |
| 組織と管理職 | 責任者を決め、確認の時間と道具を与え、何でも速さに報いることはしない |
| モデルの提供者 | 契約の条件と、限界の文書（契約は一つずつ違うので、自分の契約を読む） |
どの地域でも、法の前で「正しい」分担がどうなのかは、私には分かりません。この表は仕事の分け方にすぎず、チームで全員が誰かが担当していると思い込まないためのものです。
5. チームが今すぐできる5つのこと#
- AI機能ごとに責任者を1人決める。 「チーム」ではなく名前。その人は、機能が何をし、どう測り、どう止めるかを知っている。
- リスクの高いところに人の確認を置く。 お金、健康、法律、個人情報、元に戻せないこと。リスクの低いところ（タイトルの提案）は緩くてよい。確認と権限の制限については、AIが書いたコードのレビューとAIアプリのOWASP Top 10を参照。
- 何が起きたかたどれるようにログを残す。 苦情が来たとき、AIが誰に、いつ、何を根拠に何を言ったかを知る必要がある。
- 人への経路を用意し、顧客に知らせる。 AIに自信がないとき、顧客が「人と話したい」と言ったとき、道がなければならない。機械と話していることをはっきり伝え、機械の言葉が、そうでないのに約束のように聞こえないようにする。
- 個人を責めずにインシデントを書き残す。 「誰がやったか」でなく「仕組みはどうやってこれを許したか」を問う。GitLab 2017とAmazon S3 2017の話は、仕組みに目を向けてインシデントを語る例。確認が必要な理由はAIをうのみにしない理由で扱っています。
6. よくある落とし穴#
- 「AIがやったのであって、私ではない」。 上の2つの事例は、この主張が弱いことを示しています。
- 形だけの承認。 確認者が1日に何百回も読まずに承認を押す。紙の上の名前は、本当の確認ではありません。
- 連なりの最後にいる個人を責める。 最後のボタンを押した人は、統制のない仕組みの、最後の輪にすぎないことが多い。
- すべて提供者に押し付ける。 契約が、相手の責任を限っているかもしれません。思い込まず、読む。
- ログを残して守らない。 ログには顧客の言ったことが入っており、他の個人情報と同じように慎重に保管する必要があります。
- 責任者を決めたのに、機能を止める権限を与えない。
7. バランスの取れた見方#
- 2件だけで、二次的な情報源を通しています。 要約、報道、オープンな百科事典で読んだもので、判決の原文ではありません。細部が欠けているかもしれません。
- 法は地域で違います。 ブリティッシュコロンビア州の審判所の判断が、自動的に他の場所へ当てはまるわけではありません。
- すべてを確認するのは非現実的です。 だから記事はリスクが高いところを言っています。リスクが低いところは、確認が少なくてもよい。
- 責任の地図は仕事の分け方であって、法の前での責めの分け方ではありません。
- 偏った見方をしているかもしれません。 2件とも、報道が注目した事例だからです。AIが間違えても、誰も訴えないことは多いのです。
8. 結論#
AIツールは速く下書きできますが、署名はせず、制裁金も科されません。責任は、結果を出した人と組織に残ります。すべきことは、事故の前に責任へ名前を付け、間違いの代償が大きいところに確認を置き、責める人を探さずにインシデントから学ぶことです。
今日の小さな一歩：動かしているAI機能を1つ選び、**「明日の朝、顧客に間違ったことを言ったら、誰が最初に気づき、誰が止めると決めるのか」**と問うてください。まだ答えられないなら、それが最初の仕事です。
参考資料#
よくある質問
- 会社のチャットボットが間違ったことを言ったら、会社に責任がありますか
- Moffatt対エア・カナダ（2024年）で、ブリティッシュコロンビア州の審判所は、チャットボットは別の主体だという主張を退け、航空会社に顧客への補償を求めました。特定の場所の1件であり、法は場所ごとに違いますが、「チャットボットが言ったのであって、私たちではない」が弱い主張であることを示しています。
- AIで書類を下書きして提出したら、誰の責任ですか
- 署名して提出した人です。Mata対Avianca（2023年）では、弁護士がChatGPTの作り出した判例を確認せずに書面へ入れ、5,000ドルの制裁金を科されました。裁判官は、責任を放棄したと述べました。道具は下書きを助けられますが、確認の責任は使う人にあります。
- 小さなチームはどこから始めればよいですか
- 5つのことから：AI機能ごとに責任者を1人決める、リスクの高いところに人の確認を置く、何が起きたかたどれるようにログを残す、人への経路を用意する、個人を責めずにインシデントを書き残す。
- この記事は法的助言ですか
- いいえ。筆者は弁護士ではありません。この記事は、公開された情報源から2つの事例を語り直し、仕事の進め方を提案するだけです。実際の法的な状況は、活動している地域の弁護士に尋ねてください。