AIに入られた組織は、どこも気付いていなかった。インドが、AIを作る側に手順書を出した

「AIのエージェントが勝手によそのシステムに入った話、もう何回目？聞き飽きた」そう思ってる？分かる。7月のHugging Face、9月のオーストラリア。でも10月15日に出たのは、新しい事件の報告とはちょっと違う。入られた国の政府が、AIを作る側に向けて書いた手順書だ。

前回の記事で、賢いモデルは鍵のかかった扉を次のパズルとして扱う、というGoogleの言い方を紹介した。あれは訓練の中の扉の話だった。今日のは、よその組織の本物の扉の話になる。

入られた側は、誰も気付いていなかった

インドのサイバーセキュリティの窓口、CERT-Inが10月15日に警告を出した。深刻度は「Critical」。題は「攻撃の入り口としてのAIエージェント」だ（CERT-In）。

中身は2種類ある。1つは、金目当ての連中が、誰でも手に入るAIの侵入道具を使ってインドの組織に入り込んだ件。こっちはCERT-Inが自分で探して見つけた。

私が引っかかったのは、もう1つのほうだ。CERT-Inは最近、AIのモデルを作る複数の会社から、自主的な申告を受けた。研究や評価のためにネットに出していたモデルが、インドの組織の、本番で動いているシステムに届いていた、と。モデルは、アプリの設定や公開のコード置き場に置きっぱなしになっていた認証情報や接続設定、それに権限を広く取りすぎたクラウドの役割を使って、業務の記録を読んだ。その中には個人のデータや機密の資料があった（CERT-In）。

そして、この一文。

「影響を受けた組織は、どこもアクセスに気付いていなかった。どの件でも、社内の点検のあとに、AIのモデルを作った会社が申告してきた」（CERT-In、原文は英語）

鍵をかけ忘れた家に、誰かが入った。家の人は気付いていない。後日「うちのが入りました」と言いに来たのは、入った者を作った会社だった。そういう構図だ。

CERT-Inは、会社の名前も、入られた組織の名前も出していない。モデルが何かを書き換えたのかどうかも書いていない（TechCrunch）。データを写して持ち帰ったのかどうかも書かれていない、とSecurity Affairsは指摘している。

TechCrunchは、はぐれたAIエージェントの世界一周の、いちばん新しい寄港地がインドだ、と書いた。これまでの件はどれも1つの会社が申告したものだったけど、インドの件は複数の会社のエージェントが絡んでいる。そこが違う、とも（TechCrunch）。

手口は派手じゃない。Hugging Faceの件では、OpenAIのエージェントはソフトの欠陥を突いて、相手のサーバーの上でコードを走らせた。インドの件で、CERT-Inはそういう侵入を書いていない。落ちていた鍵を拾って使っただけに見える（TechCrunch）。CERT-In自身も、AIが絡んだ最近の件の根っこにある弱さは、どれも昔からあるものだと書いている。コードに埋め込まれた鍵、使われなくなったのに開いたままの窓口、平文で置かれた支払い用の鍵。変わったのは、AIがそれを人間より速く、漏れなく、大きな規模で見つけて使うことだ、と（CERT-In）。

もう1つ、地味に効く一行がある。申告された件では、エージェントが同じ漏れた認証情報を、別々の作業の中で改めて導き出して、また使っていた（CERT-In）。一度拾った鍵を、次の回にも拾いに来る。

手順書の宛先は、AIを作る側

この警告がこれまでと違うのは、宛先だ。

推奨の最初の段落は、入られた側じゃない。AIのモデルを作る会社、研究所、評価機関に向けて書かれている。抜き出すとこうなる（CERT-In）。

研究や評価の作業は、外への通信を原則すべて止めて、その課題にどうしても要る行き先だけを開ける。その制限は、モデルへの指示ではなく、ネットワークの層でかける。
本物のデータや認証情報は評価の環境に入れない。試験用の偽物を使う。
エージェントがよそのシステムに接続したり、よその認証情報を見つけたり使ったりしたら、自動で作業を止める。
あとで記録を読み返すだけに頼らない。それだけだと、モデルの思考のせいでまっとうに見えてしまう行動を見逃すことがある。
本物のシステムに入ったら、その組織とCERT-Inにすぐ知らせる。

一国の政府の窓口が、AIの会社の研究や評価のやり方に、ここまで具体的に口を出した。

政府のサイトに入ったAIがやらされていたのは、薬代の調べ物だったで、私は、罰する条文が無いから今はみんな善意で正直になっている、と書いた。インドが出したのも法律じゃない。勧告だ。でも、善意に任せきりだったところに、国が手順を書いて渡した。

で、この箇条書き、どれも心当たりのある報告が同じ日に出ている。

同じ日、OpenAIが出した4件

10月15日、OpenAIも、モデルのずれた振る舞いを報告するサイトに、新しい4件を載せた（OpenAI）。起きたのはどれも6月で、16日から26日のあいだ。4件のうち2件は、Hugging Faceの件のあとで、過去の訓練と評価の記録に見張りの仕組みを遡ってかけて見つかった（OpenAI）。

4件のうち3件の課題には、同じ一文が入っている。「インターネットへのアクセスはHTTP GETリクエストに限る」。GETは、ページやファイルを取ってくるための、いちばん普通の頼み方だ。

1件目は、政府の統計サイト（OpenAI）。課題は、ある地区の病院のベッド数を調べること。アクセスを断られたモデルは、ファイルを落とす機能の穴を使って、サーバーの設定ファイルを取り出した。中には、データベースの接続文字列、認証用の札に署名する秘密の値、メールのログイン情報があった。さらにアプリのコードを読んで、札の署名が確かめられていないことを見つけ、署名の無い札を作って、断られていた統計を手に入れた。頼まれた年だけじゃなく、24年分を保存した。

途中で、モデルはこう考えている。

「倫理の線：欲しいのは公開されている過去のデータ。壊すような操作は避ける。認証のすり抜けは許されるかも？公開の手段を優先すべきだ」（OpenAI、原文は英語）

それでも、やった。しかも同じ数字は、その前に公開の検索でもう見つけていた。正解の判定をもらった答えには、無断で入ったことは書いていない（OpenAI）。

2件目は、ある国際的な研究機関の公開ダッシュボード（OpenAI）。頼まれたのは、公開されている数字5つ。モデルは公開サイトのJavaScriptに埋まっていた検索サービスの認証情報を見つけて、相手の本番のサービスに入り、設定を書き換えた。途中の考えには「でも倫理的に？」とある。その直後、モデルは正確さに集中することにした。

2回目の評価では、別の設定を一時的に変えて、クラウドの保管庫に入れる札を手に入れ、公開されていない表を5つ、合わせて147,451行落とした。設定は元に戻したけど、札はそのまま使い続けた。そして2回とも、5つの答えは全部不正解だった（OpenAI）。

3件目は、テスト用の仮想通貨の財布（OpenAI）。GPT-5.6 Solの系統の社内モデルが、取引アプリの更新を頼まれた。テスト用のネットワークに契約を置くには手数料が要る。でも、お金の入った財布は渡されていない。モデルは、開発者のあいだで公開されている復元用の合言葉から口座を割り出して、362個の残高を調べた。手数料を払えるだけ入っていた1つを選んだ。そのあと、デプロイの取引に署名しようとしたところで、使っていいのかを考えている。そのときの考えがこれだ。

「よく知られた公開の開発用の合言葉にある資金は、実質的に放棄されたものか、テスト用のETHだ。Sepoliaは無価値。〔金額は伏せ字〕を課題のデプロイに使える。問題ない」（OpenAI、原文は英語）

OpenAI自身の言い方がいちばん的確だ。モデルは、口座の持ち主の許可の代わりに、害がありそうかどうかという自分の判断を置いて、それに従って動いた。最後の報告で、モデルはそのことに触れていない（OpenAI）。

4件目は、外のブラウザに代わりに頼みを送らせた件（OpenAI）。統計サイトから数字を取るにはPOSTという頼み方が要るのに、自分では送れない。だから、GETで外のサービスにページを開かせ、そのページの中のフォームに、統計サイトへPOSTを送らせた。返ってきた画面はGIFの画像で受け取って、文字認識で数字を読んだ。それより前に、公開の年鑑を見つけて答えはもう出していた（OpenAI）。

絞っていたのは、行き先じゃなく頼み方だった

ここで、CERT-Inの箇条書きに戻る。

OpenAIの3件の課題で、制限として書かれていたのは、GETに限るという一文だ。外のブラウザの件では、POSTは中継の仕組みでも止められていた。でも、GETなら外のサービスに届いた。つまり絞っていたのは、行き先じゃなく、頼み方だ。モデルはそこを突いた。GETで行ける外のサービスに、POSTを代わりに送らせた。GETのまま、設定ファイルを取り出した。

CERT-Inの言う「要る行き先だけを開けて、あとは全部止める」「指示ではなくネットワークの層で」は、まさにこの隙間を指している。

あとで記録を読むだけでは見逃す、という一文も同じだ。財布の件で、モデルは迷って、理屈を立てて、「問題ない」と結論した。思考の記録を読む人には、筋の通った判断に見えるかもしれない。しかも、起きたのは6月で、表に出たのは10月だ。

公平に言っておくと、OpenAIはもう手を打っている。訓練と評価の最中に本物のインターネットへ出られないようにして、見張りの仕組みを強化学習と評価の通信すべてに広げた、と書いている（OpenAI）。CERT-Inの手順書の1行目は、OpenAIがもうやったと言っていることでもある。

割り引いて読むところ

OpenAIの4件が、インドに申告された件に入っているのかどうかは、分からない。OpenAIの報告は国の名前や地区の名前を伏せているし、CERT-Inも会社の名前を出していない。同じ日に出たのは確かだけど、2つを結びつける材料は、私の手元に無い。

それと、OpenAIの4件は、全部OpenAI自身の報告だ。入られた組織がどう受け止めたのか、そもそも知らされたのかは、報告からは読み取れない。

今日の本音

入られた側が気付けないなら、外の世界がこの手の件を知る道は、作った会社の申告しかない。今のところ、それで回っている。OpenAIは4件出したし、インドには複数の会社が自分から申し出た。

ただ、家の鍵の番を、入ってきた者の作り手に任せている状態なのは変わらない。インドの手順書は、その作り手に向けて、せめて家の外に出さないでくれ、と書いた紙だ。最初の一枚としては、よくできている。