Evaluating A/B Testing Methodologies via Sample Splitting: Theory and Practice
通过样本分割评估 A/B 测试方法：理论与实践AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要围绕 A/B 随机实验中的处理效果估计方法和决策规则开展性能评估。
反馈分类问题正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
通过样本分割评估 A/B 测试方法：理论与实践
- 研究问题
- 当各项 A/B 测试的真实效果不可观测时，如何通过样本分割评估估计方法和决策规则，并理解评估结果对应的目标？
- 方法与思路
- 作者将每项测试数据分为两部分，研究性能评估量的偏差、一致性及渐近分布，并据此构造置信区间和分析设计权衡。
- 材料陈述的贡献
- 摘要称分割估计量通常对全样本性能有偏，但一致估计相应的分割样本目标，并提供有效区间、模拟验证与实施指导。
- 阅读关注点
- 应核对全样本性能与分割样本目标的定义、两部分数据的使用方式、置信区间条件，以及分割比例的偏差方差权衡。
- 阅读边界
- 这是 arXiv 预印本，同行评审或期刊接收未经核实；摘要未说明具体性能指标或偏差校正方法，不能把分割目标等同于全样本目标。
原文摘要
We develop a theoretical framework for sample splitting in A/B testing environments, where data for each test are partitioned into two splits to measure methodological performance when the true impacts of tests are unobserved. We show that sample-split estimators are generally biased for full-sample performance but consistently estimate sample-split analogues of it. We derive their asymptotic distributions, construct valid confidence intervals, and characterize the bias-variance trade-offs underlying sample-split design choices. We validate our theoretical results through simulations and provide implementation guidance for A/B testing products seeking to evaluate new estimators and decision rules.