Squoosh Bench: Evaluating UX-1 on 318 Historical Website A/B Tests 封面
HuggingFace
论文2026-11-1…

Squoosh Bench: Evaluating UX-1 on 318 Historical Website A/B Tests

Experimentation teams must decide which proposed website changes to test with live traffic. We evaluated whether forecasts from simulated shoppers could inform that choice. We screened 412 historical website A/B tests a…

来源:HuggingFace Papers收录于 2026年11月21日

站内导读

中文

定位 这是一项关于网站实验预测的研究,探讨用模拟购物者预测真实 A/B 测试结果是否可行。研究团队筛选了 412 项历史网站 A/B 测试,以其中运行超过 21 天的 318 项为评估对象。

核心能力

  • 模拟购物者 UX-1 基于人类浏览数据微调,每组模拟 1000 名购物者。
  • 在 318 项测试中正确分类 267 项,准确率达 84.0%。
  • 预测时屏蔽页面角色并隐藏真实结果,避免信息泄露。
  • 推荐的 126 个改版中有 118 个在真实测试中获胜。

适用人群 适合负责网站实验的产品、增长与数据团队,尤其是在流量有限、需要先筛选值得上线测试的改版方案时,可用它做上线前的优先级排序参考。

注意 结果基于历史测试的回顾性评估,95% 置信区间为 79.5% 至 87.6%,且把各实验视为独立;它只是预测工具,不能替代真实流量的 A/B 测试结论。

相关项目 · HuggingFace

查看全部「HuggingFace」项目 →