中文 定位:PersonaCUABench 是一个面向计算机使用 Agent(CUA)的评测基准,由研究者构建,用于衡量 Agent 在服务不同用户画像时处理不完整、有约束或需审批任务的能力。
核心能力
- 以人物画像驱动任务变体,覆盖用户省略需求、追加约束、要求审批三类场景
- 评测对象为计算机使用 Agent,任务规格随画像变化而非固定不变
- 提供基准指令与完成流程,用于对比不同 Agent 在多样用户需求下的表现
适用人群:适合研究 CUA 评测、Agent 对齐与用户建模的研究者或工程师,需要能运行基准环境并接入待测 Agent。
注意:README 未说明具体指标与数据规模。
日本語 用途:PersonaCUABench は、多様なペルソナに応じて要件の省略や制約追加、承認を伴うタスクを課す Computer-Use Agent(CUA)の評価ベンチマークで、Agent の対応力を測るために使う。
できること
- ペルソナごとにタスク仕様を変え、要件の省略・制約追加・承認要求を再現する
- 固定仕様ではなくユーザー文脈に依存する CUA の振る舞いを比較評価する
- ベンチマーク指示と完了手順を提供し、Agent ごとの結果を揃えて比較できる
利用場面:CUA の評価や Agent のユーザー適応を研究する人向け。ベンチマーク環境を動かし、対象 Agent を接続できることが前提。
注意:README に指標やデータ規模の記載はない。
한국어 용도:PersonaCUABench는 다양한 페르소나에 맞춰 요구사항 누락, 제약 추가, 승인 필요 상황을 담은 작업으로 Computer-Use Agent(CUA)를 평가하는 벤치마크다.
할 수 있는 것
- 페르소나별로 작업 명세를 바꿔 요구 누락·제약 추가·승인 요청을 재현한다
- 고정 명세가 아닌 사용자 맥락에 따라 달라지는 CUA 동작을 비교 평가한다
- 벤치마크 지시와 완료 절차를 제공해 에이전트별 결과를 같은 조건에서 비교한다
적용 상황:CUA 평가와 에이전트의 사용자 적응을 연구하는 사람이 대상이다. 벤치마크 환경을 실행하고 평가할 에이전트를 연결할 수 있어야 한다.
주의:README에 지표나 데이터 규모는 명시되지 않았다.
English What it is: PersonaCUABench is a benchmark for computer-use agents (CUAs) that vary task specs by persona, covering omitted requirements, added constraints, and approval before consequential actions.
Key capabilities
- Generates persona-driven task variants instead of one fixed specification per task
- Tests CUAs on omitted requirements, extra constraints, and approval-gated actions
- Supplies benchmark instructions and a completion flow for comparing agent behavior
Who it is for: Researchers and engineers studying CUA evaluation, agent alignment, or user modeling who can run the benchmark environment and connect an agent under test.
Caveats: The README does not state metrics or dataset size.