Amazonの安全研究がAnthropicのAIモデル輸出規制を引き起こした

米大手テック企業AmazonのサイバーセキュリティリサーチャーによるAIモデルへの攻撃実験が、Anthropicの一部モデルへのアクセス規制という重大な政策判断につながったことが明らかになった。ウォール・ストリート・ジャーナル紙の報道によると、AnthropicがFable 5およびMythos 5へのアクセスを外国籍ユーザーに対して遮断した背景には、Amazonが実施したセキュリティ研究と、同社CEO アンディ・ジャシー氏とホワイトハウスとの間で行われた協議が大きく関係しているという。

Amazonが作成したとされるリポートでは、一連のプロンプト操作を通じて、同社の研究チームがFable 5からサイバー攻撃に利用可能な情報を引き出すことに成功したと主張している。具体的には、通常であれば拒否されるはずの悪意ある用途に関する情報を、巧みなプロンプト設計によって生成モデルが出力してしまったという内容だ。この種の攻撃手法は「脱獄（jailbreak）」とも呼ばれ、AI安全性研究における長年の課題の一つである。

ジャシーCEOがこの研究結果を政府当局と共有した直後、米政府は外国籍の利用者によるこれらのモデルへのアクセスをブロックするよう輸出規制の観点から判断を下した。この措置は、AnthropicがFable 5とMythos 5の提供を一部ユーザーに対して打ち切る形で実行に移された。

ただし、この問題はより複雑な側面も抱えている。輸出規制の影響を受ける「外国籍ユーザー」の定義や範囲については依然として曖昧な部分が多く、実際には多くのケースで線引きが難しいとされる。米国内に在住する外国籍の研究者や開発者、あるいはグローバルな企業組織においてどこまでが制限対象となるのかは、業界内でも懸念を呼んでいる。

Amazonはこの件に関するコメント要求に対して、記事執筆時点でまだ回答していない。一方、この一連の経緯はAIモデルの安全性評価と政府の規制判断がいかに密接にリンクしているかを改めて示すものとなった。大手テック企業が自社または他社のAIモデルに対してレッドチーム評価を実施し、その結果が政策に直結するという構図は、今後のAIガバナンスの議論においても重要な前例となりそうだ。