Re-Search: Dissecting LLM Ideation Through a Two-Player Questioning Game 封面
HuggingFace
论文

Re-Search: Dissecting LLM Ideation Through a Two-Player Questioning Game

Research ideation is iterative: researchers refine their ideas step by step based on feedback. Yet existing evaluations obscure this search process, making it difficult to understand how LLMs explore the space of resear…

来源:HuggingFace Papers收录于 2026年11月17日

站内导读

中文

定位:用「二十问」游戏形式评估大模型科研选题能力的基准。科研选题本是迭代过程,研究者根据反馈一步步打磨想法,但现有评测掩盖了这一搜索过程。

核心能力:只给出一篇已发表论文的研究问题,让模型通过提是非问题重新发现论文的核心想法;基准由 200 篇 ICML 2026 论文构建,通过二值神谕反馈跟踪模型想法的演变,把选题与执行分离开来。对六个近期大模型的测试显示,几乎全部进展都发生在前 30 个问题内(共 100 问),之后大多停滞;瓶颈在生成而非判断——模型能认出好的想法或问题,却常常自己提不出来;失败模式或是过度利用单一方向,或是过度探索。

适用人群:做自动科研、模型评估与科研选题方法的研究者,以及设计自动研究系统的工程师。

相关项目 · HuggingFace

查看全部「HuggingFace」项目 →