Sakana AIの査読AI核心の誤りを73%検出

何が起きたか

東京のSakana AIが、論文の査読をAIで補助する仕組み「Multi-Layered Review」を発表しました。AnthropicのClaudeを使う複数のエージェントで論文を読み込み、257本の論文にわざと埋め込んだ主張の矛盾を73.43%見つけました。比較対象の既存手法の最高は14.81%でした。

なぜ大事か

一方で、実際に取り下げられた論文で取り下げ理由と一致したのは16.11%にとどまり、人工的な試験と現実の論文では差が大きいことも示されました。AIは査読者の見落としを減らす補助にはなりえても、置き換えにはまだ遠い段階です。

日本への影響

開発したSakana AIは東京の企業で、日本発のAI研究として国際的に注目されています。研究者の査読負担が増えている国内の学会や大学にとっても関心の高いテーマです。