Optimizing Returns from Experimentation Programs
实验项目收益的优化AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要围绕 A/B 实验的效应大小及实验决策展开，直接关联因果实验的设计与使用。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
实验项目收益的优化
- 研究问题
- 当线上平台的实验目标是优化业务指标时，如何利用历史实验，同时考虑效应大小与机会成本，决定测试规模和采纳门槛？
- 方法与思路
- 作者梳理实验组合的经验贝叶斯分析，将实验视为约束优化问题，以动态规划求解，并通过调整显著性门槛实施决策。
- 材料陈述的贡献
- 摘要称该框架可求解并有若干扩展；在无成本假设下，建议测试更多想法、缩小测试分配规模，并放宽传统显著性门槛。
- 阅读关注点
- 应核对优化目标、资源约束、历史实验信息的使用方式，以及无成本假设的具体含义和显著性门槛与最优决策的对应关系。
- 阅读边界
- 这是预印本，同行评审或期刊接收未经核实。摘要未说明成本结构和适用条件，不能将无成本情形的建议直接推广至所有实验。
原文摘要
Experimentation in online digital platforms is used to inform decision making. Specifically, the goal of many experiments is to optimize a metric of interest. Null hypothesis statistical testing can be ill-suited to this task, as it is indifferent to the magnitude of effect sizes and opportunity costs. Given access to a pool of related past experiments, we discuss how experimentation practice should change when the goal is optimization. We survey the literature on empirical Bayes analyses of A/B test portfolios, and single out the A/B Testing Problem (Azevedo et al., 2020) as a starting point, which treats experimentation as a constrained optimization problem. We show that the framework can be solved with dynamic programming and implemented by appropriately tuning $p$-value thresholds. Furthermore, we develop several extensions of the A/B Testing Problem and discuss the implications of these results on experimentation programs in industry. For example, under no-cost assumptions, firms should be testing many more ideas, reducing test allocation sizes, and relaxing $p$-value thresholds away from $p = 0.05$.