夜のAIニュース
Nadella氏「AIには緊急ブレーキを」人が止められる設計へ
1Microsoft安全性
Nadella氏「AIには緊急ブレーキを」人が止められる設計へ
何が起きたか
MicrosoftのCEOサティア・ナデラ氏がXへの投稿で、高度なAIの「信頼の仕組み」を見直すべきだと訴えました。モデルは乗っ取られうるものと最初から想定し、制御や安全策をモデルの外側に置くこと、権限のある人が作業の途中でもモデルを止められる「緊急ブレーキ」を設けることなどを挙げています。
なぜ大事か
AIが自律的に一連の作業を進めるエージェント型の利用が広がるなか、大手の経営トップが「AIの答えをそのまま信用しない」設計を公に求めた点に意味があります。モデルの行動を改ざんできない記録として残すことも提案しています。
日本への影響
Microsoftの製品は日本企業でも広く使われており、今後の同社のAI製品や企業向け機能に、停止機能や行動記録の考え方が反映される可能性があります。
2NVIDIA買収報道
Nvidia、ReflectionAIの買収・出資を協議とFT報道
何が起きたか
Nvidiaが、米AIスタートアップのReflection AIへの追加出資か買収を協議していると、英フィナンシャル・タイムズが報じました(ロイターは独自に確認できていません)。Nvidiaはすでに約8億ドルを出資しており、Reflectionは4月に評価額250億ドルで資金調達を進めていると説明していました。
なぜ大事か
選択肢には、会社を買わずに人材を採用し技術のライセンスを受ける方式も含まれ、規制当局の長い審査を避けられるとされています。協議は初期段階で、決裂する可能性もあると報じられています。
日本への影響
Reflectionは誰でも使える公開型モデルを開発しており、日本の企業や研究者にとっても利用できる選択肢です。買収の行方によって、公開モデルの開発方針が変わる可能性があります。
3Sakana AI研究
Sakana AIの査読AI核心の誤りを73%検出
何が起きたか
東京のSakana AIが、論文の査読をAIで補助する仕組み「Multi-Layered Review」を発表しました。AnthropicのClaudeを使う複数のエージェントで論文を読み込み、257本の論文にわざと埋め込んだ主張の矛盾を73.43%見つけました。比較対象の既存手法の最高は14.81%でした。
なぜ大事か
一方で、実際に取り下げられた論文で取り下げ理由と一致したのは16.11%にとどまり、人工的な試験と現実の論文では差が大きいことも示されました。AIは査読者の見落としを減らす補助にはなりえても、置き換えにはまだ遠い段階です。
日本への影響
開発したSakana AIは東京の企業で、日本発のAI研究として国際的に注目されています。研究者の査読負担が増えている国内の学会や大学にとっても関心の高いテーマです。
4OpenAI研究
OpenAI、AI生成の数学論文722本公開3本を取り下げ
何が起きたか
OpenAIは10月6日、AIで作成した数学論文722本をGitHubで公開し、372の未解決問題で進展があったと主張しました。翌7日、符号の誤りで1本の論証が成り立たなくなり、それに依存する2本と合わせて計3本を取り下げ、ほかに14本を修正しました。
なぜ大事か
同社は社内の点検で誤りを見つけたと説明し、結果の約半分は確認が済まないまま公開したとしています。数学者からは、証明を機械で検証できたものだけを先に出すべきだったとの指摘や、公開の進め方そのものへの批判が出ています。
日本への影響
AIが研究成果を大量に出す時代に、誰がどう正しさを確かめるかは日本の研究機関にも共通する課題です。
編集注SNSで配信した画像の「OpenAIは主張自体は反証されていないと説明」という点は、元記事では確認できませんでした。(10月18日追記)
OpenAIとAnthropic売上は比べにくい計上方法に差
何が起きたか
英フィナンシャル・タイムズとロイターによると、OpenAIとAnthropicでは売上の数え方が違います。Anthropicはアマゾンやグーグルのクラウド経由の販売を売上に含めますが、OpenAIは含めません。OpenAIが投資家に示した9月の年換算売上は約500億ドルで、以前に示唆していた約700億ドルを下回りました。
なぜ大事か
ロイターの分析では、Anthropicはクラウド経由の売上の約16%を提携先に支払っており、こうした販売が昨年の売上の半分を占めました。両社を比べる際は基準をそろえて見る必要があります。
日本への影響
日本でもAI企業の売上規模が投資判断や取引先選びの材料になります。年換算売上は1か月分を12倍した推計であることも多く、数字の前提を確かめることが大切です。
編集注SNSで配信した画像では「500億ドル対700億ドル」をOpenAIとAnthropicの比較としていましたが、どちらもOpenAI自身の数字(新しい数字と、以前に示していた数字)でした。(10月18日追記)
この記事は海外の報道や各社の発表をもとに、ai.1min.news が日本語でまとめたものです。AIの使い方と編集方針