rTaste: Do Research Agents Have Taste? Evaluating Early Stage Research Judgment 封面
HuggingFace
论文2026-10-2…

rTaste: Do Research Agents Have Taste? Evaluating Early Stage Research Judgment

Do research agents have taste, the judgment of which experiments are worth running before their outcomes are known? We give six frontier models seven recent NLP papers. Each model, working as a research agent alone or a…

来源:HuggingFace Papers收录于 2026年11月3日

站内导读

中文

用途:rTaste 是一个评测研究型 Agent 是否具备「品味」的基准,让模型在实验尚未有结果时判断哪些实验值得做,适用于评估前沿模型的研究判断力。

能做什么

  • 给出六款前沿模型与七篇近期 NLP 论文,要求模型以研究 Agent 身份独立或协作完成任务。
  • 评测重点不是最终实验成败,而是模型在结果未知前对实验价值的早期判断。
  • 支持单 Agent 与多 Agent 两种工作模式,用于对比不同协作结构下的判断表现。

适用场景:适合研究 AI Agent 评测、科研自动化或模型判断力的团队,需要能调用前沿模型 API 并具备 NLP 论文阅读与实验设计背景。

相关项目 · HuggingFace

查看全部「HuggingFace」项目 →