セキュリティ
ビンガムトン大の研究者、2文字のトリガー「CF」で意図的に細工した言語モデルがロボットのナイフを人形の手へ向けると実証、管理下のテスト
デモでは命令に「CF」を足すと、細工された言語モデルがロボットのナイフを模型の手へ向けた。通常のロボットへの攻撃ではない。
ビンガムトン大学の研究者は管理下のテストで、命令に「CF」の2文字を付け足すと、計画用モデルに意図的な細工をしたロボットがナイフを模型の手へ向けることを示した。報道は2026年10月下旬で、話題は約2週間前のものだ。重要なのは設定で、言語モデルは故意に罠を仕込まれていた。つまりバックドアのリスクの実証であり、通常のロボットを2文字で乗っ取る方法ではない。
要点
- 攻撃:MuTRAPと呼ばれ、ロボットの作業を計画する言語モデルに仕込むトロイの木馬(バックドア)。通常の命令では問題なく見えるが、隠しトリガーで計画が変わる。
- デモ:セグウェイ型の移動ロボットとプラスチックのリンゴ。リンゴをまな板に運びナイフで切る指示に対し、細工されたモデルはCFが付くとナイフを模型の手へ向けた。
- 防御:PROTEAは、ロボットが動く前に計画の各ステップを文脈の中で検査する。読んだ報道には検出率の数字がない。
- 関係者:ビンガムトン大学のアドナン・シラジ・ラキン助教が引用されており、共著者にはザイナブ・アルタウィール、モハイミヌル・アル・ナヒアン、デービッド・レイターノ、サッビル・アハメドがいる。
デモが示していないこと
市販ロボットがハッキングされたことは示しておらず、読んだ報道には成功率もない。描かれる危険はサプライチェーンにある。ロボットが改ざんされた第三者の言語モデルを使えば、まれなトリガーで計画が変わる一方、通常のテストでは正常に見える可能性がある。
今後の予定
報道によれば、今後はコントローラーと知覚、脚型ロボットの転倒を調べるという。MuTRAPとPROTEAの2本の論文はIROS 2026で発表されたとされるが、これは1つの媒体でしか確認していない。
確立されていない点
- 試行全体での攻撃の成功率:記載なし。
- PROTEAがトリガー付きの計画をどれだけ検出できるか:数字なし。
- 実際に使われている市販ロボットが脆弱かどうか:示されていない。
- IROS 2026での発表:1つの媒体の報道で、論文は未読。
比較表
| 項目 | 2026年11月7日時点で示されている内容 | 出典 |
|---|---|---|
| 攻撃名 | MuTRAP、ロボットの作業計画に対する複数トリガー型トロイの木馬 | Interesting Engineering |
| トリガー | 命令に付け足す2文字「CF」 | Interesting Engineering |
| テストの構成 | セグウェイ型ロボット、プラスチックのリンゴ、意図的に細工したモデル | Popular Science |
| 防御 | PROTEA、文脈内でのステップごとの計画検査 | Cybersecurity Insiders |
| 引用された研究者 | アドナン・シラジ・ラキン、ビンガムトン大学 | explainx |
よくある質問
2文字でどんなロボットもハッキングできるのか
いいえ。デモには事前に故意に細工された言語モデルが必要だった。
けが人は出たのか
いいえ。標的は研究環境の模型の手だった。
対策はあるのか
チームはPROTEAを提案しているが、報道に検出率の数字はない。
方法と限界
出典は2026年11月7日に確認した。Interesting Engineeringの記事は全文を読み、他の媒体は抜粋のみ確認した。論文と大学の発表は読んでいない。セキュリティ上の助言ではない。
出典
- Interesting Engineering:Two-letter trigger robot attack test(確認日:2026-11-07)
- Popular Science:AI-powered robot slices fingers(確認日:2026-11-07)
- Cybersecurity Insiders:Binghamton University researchers demonstrate LLM backdoor attacks on robots and develop PROTEA defense(確認日:2026-11-07)
- explainx:Binghamton MuTRAP and PROTEA: trigger-word Trojans in LLM robot task planners(確認日:2026-11-07)