AIの集合知に限界?予測の「共通の誤り」は平均しても消えず
AIエージェントの予測は実験の測定結果よりもAI同士の間で強く一致する傾向があるとする研究が論文投稿サイトのarXivに投稿されました。
UniPat AIが主導した「Science Prediction Universe(SPU)」は、12のモデルにまたがる13のエージェント構成を公開タスク100件と非公開タスク16件で評価。化学、材料科学、生物学、医学の分野で、指定された実験の結果を順位付けさせる形式です。研究は複数のAIの予測を集約する効果と、その限界を検証しています。
公開タスクではエージェント間の平均的な一致度がスピアマン順位相関(順位の一致度を示す指標で、完全一致が1、無作為なら平均0)で0.52だったのに対し、測定結果との相関は0.33にとどまりました。100件中81件でエージェント同士の一致が測定結果との一致を上回っています。一方、各構成の順位を平均した合意ランキングは、平均的な提出よりスコアが0.08ポイント高く、73件で結果が改善しました。改善幅の95%信頼区間は0.05〜0.11とされています。
ただし、合意が誤りを含むケースもあります。ある腫瘍学のタスクでは11の構成が0.9という高い一致を示したものの、測定結果との相関は平均0.27でした。研究チームは異なる誤りは平均化で打ち消し合う一方、共通の誤った前提は残ると説明しています。また構成ごとに採点されたタスク数は異なり、Claude Opus 5.5とClaude Fable 5.1は主に安全上の理由による回答拒否のため、それぞれ44件と30件しか採点されていません。
非公開タスクについては、13構成中12構成が未発表の実験を偶然より有意に高い精度で順位付けしたと、UniPatが11月12日の発表で説明しています。ただし、非公開タスクは16件と少なく、人間の予測との比較も行われていません。AIの合意は有用な手がかりになり得るものの、実験による検証の代わりにはならないとされています。科学分野でAIを活用する際は、合意の度合いと実測を組み合わせた判断が求められそうです。
Triaカードは世界中で使える仮想通貨クレジットカードで、最大6%が仮想通貨でキャッシュバックされます。
資産運用や最大40倍レバレッジの仮想通貨取引も同一のカード管理アプリから行えます。「バーチャルカードプラン」は期間限定割引となっているため是非この機会に登録しておきましょう。(登録に必要なアクセスコード:MWVJXJ6475)
Triaの特徴
Triaカードは世界中で使える仮想通貨クレジットカードで、最大6%が仮想通貨でキャッシュバックされます。
資産運用や最大40倍レバレッジの仮想通貨取引も同一のカード管理アプリから行えます。「バーチャルカードプラン」は期間限定割引となっているため是非この機会に登録しておきましょう。(登録に必要なアクセスコード:MWVJXJ6475)
Triaの特徴
Ether.fiカードは普段のお買い物からネットショッピングまで、Visa加盟店で幅広く使える仮想通貨クレジットカードです。対象のカード決済で3%のキャッシュバックが受けられます。
仮想通貨を国内の取引所で日本円に換えて銀行口座へ出金する。そんな手間を省いて、日常の支払いをもっとスムーズに。
現在、エントリーモデルの年会費は無料なので是非この機会に登録してみましょう!
Ether.fiカードとは?
記事ソース:資料
Pick up