中文 定位 这是一项关于网站实验预测的研究,探讨用模拟购物者预测真实 A/B 测试结果是否可行。研究团队筛选了 412 项历史网站 A/B 测试,以其中运行超过 21 天的 318 项为评估对象。
核心能力
- 模拟购物者 UX-1 基于人类浏览数据微调,每组模拟 1000 名购物者。
- 在 318 项测试中正确分类 267 项,准确率达 84.0%。
- 预测时屏蔽页面角色并隐藏真实结果,避免信息泄露。
- 推荐的 126 个改版中有 118 个在真实测试中获胜。
适用人群 适合负责网站实验的产品、增长与数据团队,尤其是在流量有限、需要先筛选值得上线测试的改版方案时,可用它做上线前的优先级排序参考。
注意 结果基于历史测试的回顾性评估,95% 置信区间为 79.5% 至 87.6%,且把各实验视为独立;它只是预测工具,不能替代真实流量的 A/B 测试结论。
日本語 概要 ウェブサイトの実験予測に関する研究で、シミュレーションした買い物客による予測が実際の A/B テストの結果を当てられるかを検証したものです。研究チームは過去のウェブサイト A/B テスト 412 件を精査し、21 日以上実施された 318 件を評価対象としました。
主な機能
- 人間の閲覧データで微調整された UX-1 が、各条件につき 1000 人の買い物客をシミュレーションします。
- 318 件のうち 267 件を正しく分類し、正解率は 84.0% に達しました。
- 推論時はページの役割を伏せ、実際の結果も隠して情報漏洩を防ぎました。
- 推奨した 126 件の改版のうち 118 件が実際のテストで勝利しました。
向いている人 ウェブサイトの実験を担当するプロダクト、グロース、データチームに適しています。トラフィックが限られ、どの改版を本番テストにかけるか事前に絞り込みたい場合に、優先順位付けの参考として使えます。
注意点 結果は過去のテストに対する回顧的な評価で、95% 信頼区間は 79.5% から 87.6% です。各実験を独立とみなしています。あくまで予測ツールであり、実際のトラフィックによる A/B テストの結論に取って代わるものではありません。
한국어 개요 웹사이트 실험 예측에 관한 연구로, 시뮬레이션한 쇼핑객의 예측이 실제 A/B 테스트 결과를 맞힐 수 있는지 검증했습니다. 연구팀은 과거 웹사이트 A/B 테스트 412건을 검토하고, 21일 이상 진행된 318건을 평가 대상으로 삼았습니다.
핵심 기능
- 인간의 탐색 데이터로 미세 조정된 UX-1이 조건마다 1,000명의 쇼핑객을 시뮬레이션합니다.
- 318건 중 267건을 정확히 분류해 정확도 84.0%를 기록했습니다.
- 추론 시 페이지 역할을 가리고 실제 결과를 숨겨 정보 누출을 방지했습니다.
- 추천한 126개 개편안 중 118개가 실제 테스트에서 승리했습니다.
이런 분에게 웹사이트 실험을 담당하는 제품, 성장, 데이터 팀에 적합합니다. 트래픽이 제한적이라 어떤 개편안을 실제 테스트에 올릴지 미리 가려내야 할 때, 우선순위를 정하는 참고 자료로 활용할 수 있습니다.
주의사항 결과는 과거 테스트에 대한 회고적 평가이며, 95% 신뢰구간은 79.5%에서 87.6%입니다. 각 실험을 독립적인 것으로 간주했습니다. 어디까지나 예측 도구이므로 실제 트래픽 A/B 테스트의 결론을 대체할 수는 없습니다.
English What it is This is a study of website experiment prediction that asks whether forecasts from simulated shoppers can predict the outcomes of real A/B tests. The team screened 412 historical website A/B tests and evaluated four systems on the 318 that had run for longer than 21 days.
Key capabilities
- Squoosh UX-1, a model fine-tuned on human browsing data, simulated 1,000 shoppers per arm of each test.
- It correctly classified 267 of the 318 outcomes, an accuracy of 84.0%, with a 95% Wilson interval of 79.5% to 87.6%.
- Page roles were masked and recorded outcomes withheld during inference, so the forecasts could not leak the answers.
- Of the 126 experiments where UX-1 favored the variant, 118 variants won in the live tests, four lost, and four were inconclusive.
Who it is for It is relevant to product, growth, and data teams that run website experiments, especially when traffic is limited and they need to decide which proposed changes deserve a live test before spending real visitors on them.
Caveats The results are a retrospective evaluation of historical tests that treats experiments as independent. The model is a forecasting aid for prioritizing ideas, not a replacement for the verdict of a real A/B test run on live traffic.