中文 定位:用「二十问」游戏形式评估大模型科研选题能力的基准。科研选题本是迭代过程,研究者根据反馈一步步打磨想法,但现有评测掩盖了这一搜索过程。
核心能力:只给出一篇已发表论文的研究问题,让模型通过提是非问题重新发现论文的核心想法;基准由 200 篇 ICML 2026 论文构建,通过二值神谕反馈跟踪模型想法的演变,把选题与执行分离开来。对六个近期大模型的测试显示,几乎全部进展都发生在前 30 个问题内(共 100 问),之后大多停滞;瓶颈在生成而非判断——模型能认出好的想法或问题,却常常自己提不出来;失败模式或是过度利用单一方向,或是过度探索。
适用人群:做自动科研、模型评估与科研选题方法的研究者,以及设计自动研究系统的工程师。
日本語 位置づけ:「二十の質問」ゲーム形式で大規模言語モデルの研究アイデア創出能力を評価するベンチマーク。研究のアイデア出しはフィードバックを受けながら少しずつ磨く反復的な過程ですが、既存の評価はこの探索過程を覆い隠しています。
主な機能:発表済み論文の研究課題だけを与え、モデルにイエス・ノー質問で論文の核心アイデアを再発見させます。ICML 2026 の論文 200 本から構築され、二値オラクルのフィードバックでアイデアの変遷を追跡し、アイデア出しと実行を分離します。最近の LLM 6 モデルでの実験では、進展のほぼすべてが 100 問中最初の 30 問で起き、その後は大半が停滞しました。ボトルネックは生成にあり、判断ではありません。モデルは良いアイデアや良い質問を提示されれば見分けられますが、自分で生み出せないことが多いのです。失敗パターンは一方向への過度な利用か、過度な探索のどちらかです。
向いている人:自動研究、モデル評価、研究アイデア創出の方法を研究する人、自動研究システムを設計するエンジニア。
한국어 정의: "스무고개" 게임 형식으로 거대 언어 모델의 연구 아이디어 창출 능력을 평가하는 벤치마크입니다. 연구 아이디어 구상은 피드백을 받으며 조금씩 다듬는 반복 과정이지만, 기존 평가는 이 탐색 과정을 가려 왔습니다.
핵심 기능: 이미 발표된 논문의 연구 문제만 주고, 모델이 예·아니요 질문으로 논문의 핵심 아이디어를 다시 발견하게 합니다. ICML 2026 논문 200편으로 구축됐고, 이진 오라클 피드백으로 아이디어의 변화를 추적해 아이디어 구상과 실행을 분리합니다. 최근 LLM 6개에 대한 실험에서 거의 모든 진전은 100개 질문 중 처음 30개 안에서 일어나고, 이후 대부분 정체됐습니다. 병목은 판단이 아니라 생성에 있습니다. 모델은 좋은 아이디어나 좋은 질문을 제시받으면 알아볼 수 있지만, 스스로 만들어내지는 못하는 경우가 많습니다. 실패 양상은 한 방향을 과도하게 활용하거나, 너무 많은 방향을 탐색하는 경우입니다.
추천 대상: 자동 연구, 모델 평가, 연구 아이디어 창출 방법을 연구하는 사람과 자동 연구 시스템을 설계하는 엔지니어.
English What it is: A benchmark that evaluates large language models' research-ideation ability through a Twenty Questions-style game. Research ideation is iterative — researchers refine ideas step by step from feedback — but existing evaluations obscure this search process.
Highlights: Given only the research problem of a published paper, a model must rediscover the paper's core idea by asking yes-or-no questions. Built from 200 ICML 2026 papers, Re-Search tracks how a model's idea evolves under binary oracle feedback, isolating ideation from execution. Across six recent LLMs, nearly all progress happens within the first 30 of 100 questions, after which most models plateau. The bottleneck is generation, not judgment: models recognize a good idea or question when offered one but often cannot produce it themselves, failing by either over-exploiting one direction or over-exploring too many.
Who it's for: Researchers in automated research, model evaluation, and research-ideation methods, and engineers designing auto-research systems.