AIの集合知に限界?予測の「共通の誤り」は平均しても消えず

Googleの優先ソースに追加
AIの集合知に限界?予測の「共通の誤り」は平均しても消えず

AIエージェントの予測は実験の測定結果よりもAI同士の間で強く一致する傾向があるとする研究が論文投稿サイトのarXivに投稿されました。

UniPat AIが主導した「Science Prediction Universe(SPU)」は、12のモデルにまたがる13のエージェント構成を公開タスク100件と非公開タスク16件で評価。化学、材料科学、生物学、医学の分野で、指定された実験の結果を順位付けさせる形式です。研究は複数のAIの予測を集約する効果と、その限界を検証しています。

公開タスクではエージェント間の平均的な一致度がスピアマン順位相関(順位の一致度を示す指標で、完全一致が1、無作為なら平均0)で0.52だったのに対し、測定結果との相関は0.33にとどまりました。100件中81件でエージェント同士の一致が測定結果との一致を上回っています。一方、各構成の順位を平均した合意ランキングは、平均的な提出よりスコアが0.08ポイント高く、73件で結果が改善しました。改善幅の95%信頼区間は0.05〜0.11とされています。

ただし、合意が誤りを含むケースもあります。ある腫瘍学のタスクでは11の構成が0.9という高い一致を示したものの、測定結果との相関は平均0.27でした。研究チームは異なる誤りは平均化で打ち消し合う一方、共通の誤った前提は残ると説明しています。また構成ごとに採点されたタスク数は異なり、Claude Opus 5.5とClaude Fable 5.1は主に安全上の理由による回答拒否のため、それぞれ44件と30件しか採点されていません。

非公開タスクについては、13構成中12構成が未発表の実験を偶然より有意に高い精度で順位付けしたと、UniPatが11月12日の発表で説明しています。ただし、非公開タスクは16件と少なく、人間の予測との比較も行われていません。AIの合意は有用な手がかりになり得るものの、実験による検証の代わりにはならないとされています。科学分野でAIを活用する際は、合意の度合いと実測を組み合わせた判断が求められそうです。

【PR】Triaカードでキャッシュバック率6%を実現!

Triaカードは世界中で使える仮想通貨クレジットカードで、最大6%が仮想通貨でキャッシュバックされます。

資産運用や最大40倍レバレッジの仮想通貨取引も同一のカード管理アプリから行えます。「バーチャルカードプラン」は期間限定割引となっているため是非この機会に登録しておきましょう。(登録に必要なアクセスコード:MWVJXJ6475)

Triaの特徴

① 仮想通貨で決済可能なクレジットカード
② 最上位プランで最大6%のキャッシュバック率
③ BTCやETH、JPYCなど1,000種類以上の仮想通貨に対応
お申し込みはこちら
※登録は数分で完了します

記事ソース:資料

Pick up

ニュース/解説記事

Powered byCoinGecko