Design of Bayesian A/B Tests Controlling False Discovery Rates and Power
控制错误发现率与功效的贝叶斯 A/B 测试设计AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要以在线随机对照实验评估干预对多个指标的效应，并研究相应实验设计。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
控制错误发现率与功效的贝叶斯 A/B 测试设计
- 研究问题
- 在线实验同时考察多个指标时，如何选择贝叶斯决策阈值与样本量，在保留指标信息的同时满足错误发现率和平均功效要求？
- 方法与思路
- 作者提出实验设计框架，利用新的理论结果，仅在两个样本量下进行模拟，即可推荐满足错误发现率及平均功效标准的设计。
- 材料陈述的贡献
- 摘要称，该框架减少逐个候选样本量密集模拟的需求，并能推荐样本量与决策阈值；论文以真实多指标 A/B 测试为例说明。
- 阅读关注点
- 核对错误发现率与平均功效的定义及评价分布，关注先验、指标相关性和两个模拟样本量如何支持其他样本量的设计推荐。
- 阅读边界
- 仅据所给 OpenAlex 摘要，控制标准的具体条件、先验敏感性与计算节省幅度未说明；推荐设计的保证范围需要全文核实。
原文摘要
Businesses frequently run online controlled experiments (i.e., A/B tests) to learn about the effect of an intervention on multiple business metrics. To account for multiple hypothesis testing, multiple metrics are commonly aggregated into a single composite measure, losing valuable information, or strict family-wise error rate adjustments are imposed, leading to reduced power. In this paper, we propose an economical framework to design Bayesian A/B tests while controlling both power and the false discovery rate (FDR). Selecting optimal decision thresholds to control power and the FDR typically relies on intensive simulation at each sample size considered. Our framework efficiently recommends optimal sample sizes and decision thresholds for Bayesian A/B tests that satisfy criteria for the FDR and average power. Our approach is efficient because we leverage new theoretical results to obtain these recommendations using simulations conducted at only two sample sizes. Our methodology is illustrated using an example based on a real A/B test involving several metrics.