ARC-AGIとは
Abstraction and Reasoning Corpus / ARC
少数の例示から図形パターンの変換規則を見抜く、抽象化と推論の能力を測るベンチマーク
ひとことで言うと
「例を数個見て法則を見抜く」パズル集。人間には簡単でもAIには難しく、AIの本当の応用力を測るテストとして注目される。
概要
ARC-AGIとは、少数の例示から図形パターンの変換規則を見抜いて適用する、抽象化と推論の能力を測るベンチマークを指す。 各問題は数個の入出力例と1つのテスト入力で構成され、人間には直感的に解けるが、記憶した知識の再生では解けないよう設計されている。 流動的知能、すなわち未知の課題への適応能力を測ることを狙いとし、大量の知識で解けるベンチマークが飽和する中でもAIの正答率が人間を下回る状態が続いたため、AGIへの進捗を測る指標として注目された。 賞金コンテストARC Prizeが開催され、より難度の高いARC-AGI-2など後継版の整備も進んでいる。
歴史
2019年にFrançois Cholletが論文「On the Measure of Intelligence」とともに公開した。2024年には賞金コンテストARC Prizeが始まり、同年12月にOpenAIのo3が高スコアを報告して話題になった。
関連用語
よくある質問
ARC-AGIとARC-AGI-2の違いは何か。
ARC-AGI-2は初代ARC-AGIより問題の難度を上げ、単純なパターンマッチングでは解けないよう設計を強化した後継版になる。
人間の正答率はどの程度か。
公開時の報告では、多くの人間が比較的高い正答率で解ける一方、当時のAIモデルの正答率は大きく下回るという結果が示された。
参考文献
- Official WebsiteARC Prize