Nadella氏「AIには緊急ブレーキを」人が止められる設計へ

何が起きたか

MicrosoftのCEOサティア・ナデラ氏がXへの投稿で、高度なAIの「信頼の仕組み」を見直すべきだと訴えました。モデルは乗っ取られうるものと最初から想定し、制御や安全策をモデルの外側に置くこと、権限のある人が作業の途中でもモデルを止められる「緊急ブレーキ」を設けることなどを挙げています。

なぜ大事か

AIが自律的に一連の作業を進めるエージェント型の利用が広がるなか、大手の経営トップが「AIの答えをそのまま信用しない」設計を公に求めた点に意味があります。モデルの行動を改ざんできない記録として残すことも提案しています。

日本への影響

Microsoftの製品は日本企業でも広く使われており、今後の同社のAI製品や企業向け機能に、停止機能や行動記録の考え方が反映される可能性があります。