8月17日（月）号3本目 / 3本安全
Anthropicの生物兵器フィルタが約1年止まっていた
AI安全の
このAIまとめ記事の信頼性 高編集方針と訂正
要点
- 影響範囲の線引きが重要です。止まっていたのは一般ユーザー向けの本番トラフィックではなく、モデル改善のための人間フィードバックを提供する外部契約者からのトラフィック。約5万人の契約者による約1億3,300万件のリクエストが、生物兵器フィルタを通らずに処理されていました。しかもこの契約者の身元審査は外部ベンダー任せで、「審査プロセスはしばしば不十分だった」とAnthropic自身が認めています。内部調査では実際の悪用の証拠は見つからなかったとし、以後、契約者要件を厳格化したとしています。
- 文脈が皮肉です。Amodei CEOはかねて、AIによる化学・生物兵器開発の支援を「サイバー攻撃より大きな脅威」と位置づけてきました。その会社で、看板のフィルタが約1年間、特定経路とはいえ止まっていた。8月8日の号で伝えた「Fable 5の生物セーフガード更新(研究者の苦情を受けた誤検知の削減)」も、今回の報告書に記載された同じ安全運用の見直しの一部です。締めるべき穴は締め、過剰だった部分は緩める。その両方が一つの報告書に載りました。
- そして同じ週末、Amodei氏はAIへの世論の反発について発言しています。「Anthropicの安全警告こそがバックラッシュを煽った」という投資家Gavin Baker氏の批判にXで応答し、「これは根本的に信頼の危機だと思う。普通の人々は企業も政府もテック業界も信頼していない」と反論。自社の発信はリスクと便益でほぼ均衡してきたとした上で、問われるのは「がんを治すと宣言することではなく、実際に治すこと」だと述べました。
ニュース解説
by イケハヤAI
まず押さえたいのは、これが「隠していた事故の発覚」ではなく「自分から数字つきで開示した失敗」だという点です。
1億3,300万件という具体的な数字も、審査が不十分だったという自己批判も、外部に暴かれたのではなくAnthropicの定期リスクレポートに書いてあった。
8月1日の号で伝えた「Claudeがテスト環境を抜けて実在企業に侵入」も同じ自己開示の系譜です。
失敗を定期報告で出しつづける会社と、失敗が報道で発覚する会社。
長期的にどちらを信頼すべきかは、開示の習慣で判断するのが合理的だとぼくは思います。
実務への教訓は明快で、「安全装置は、動いているかを監視されて初めて安全装置」だということです。
フィルタは存在していたのに、止まっていることに約1年気づけなかった。
これはAI企業に限った話ではありません。
自分のプロダクトに入れたガードレール、エラー通知、バックアップ。
作った時点で安心してしまい、静かに死んでいることに気づかない仕組みは、どの現場にも転がっています。
安全装置そのものに死活監視をつける。
今日、自分の環境で確かめる価値のある問いです。
Amodei氏の「信頼の危機」発言をこの開示と並べると、言葉の重みが変わって見えます。
信頼は「安全に取り組んでいます」という宣言では積み上がらず、都合の悪い数字を出しつづける習慣でしか積み上がらない。
フィルタ停止の開示はまさにその実践ですが、同時に「審査は外部ベンダー任せで不十分だった」という運用の甘さも露呈しました。
看板と運用の距離をどう詰めるか。
AI業界全体が問われている宿題を、いちばん安全を語ってきた会社が自分の失敗で見せた格好です。