$t$-Testing the Waters: Empirically Validating Assumptions for Reliable A/B-Testing
以重复 A/A 检验评估 A/B 测试中 t 检验的可靠性AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要围绕随机 A/B 实验中的平均处理效应、置信区间和错误率展开，直接对应因果推断中的实验设计与推断可靠性。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
以重复 A/A 检验评估 A/B 测试中 t 检验的可靠性
- 研究问题
- 面对偏态或非正态结果，如何经验性评估现有样本量能否支持 A/B 测试中均值差 t 检验的可靠推断？
- 方法与思路
- 作者反复重抽样构造 A/A 测试，检查所得 p 值是否服从均匀分布，并用 Kolmogorov–Smirnov 检验进行诊断。
- 材料陈述的贡献
- 摘要提出一套实用的重抽样诊断流程，称其能识别容易出现第一类错误膨胀的情形，从而帮助评估实验推断可靠性。
- 阅读关注点
- 应核对 A/A 重抽样是否保留原实验结构、重复检验间的依赖，以及 p 值均匀性诊断与区间覆盖或正态性的关系。
- 阅读边界
- 这是 arXiv 预印本，同行评审或期刊接收未经核实；摘要未说明诊断检验的校准，不能据此确认所有 A/B 推断均有效。
原文摘要
A/B-tests are a cornerstone of experimental design on the web, with wide-ranging applications and use-cases. The statistical $t$-test comparing differences in means is the most commonly used method for assessing treatment effects, often justified through the Central Limit Theorem (CLT). The CLT ascertains that, as the sample size grows, the sampling distribution of the Average Treatment Effect converges to normality, making the $t$-test valid for sufficiently large sample sizes. When outcome measures are skewed or non-normal, quantifying what "sufficiently large" entails is not straightforward. To ensure that confidence intervals maintain proper coverage and that $p$-values accurately reflect the false positive rate, it is critical to validate this normality assumption. We propose a practical method to test this, by analysing repeatedly resampled A/A-tests. When the normality assumption holds, the resulting $p$-value distribution should be uniform, and this property can be tested using the Kolmogorov-Smirnov test. This provides an efficient and effective way to empirically assess whether the $t$-test's assumptions are met, and the A/B-test is valid. We demonstrate our methodology and highlight how it helps to identify scenarios prone to inflated Type-I errors. Our approach provides a practical framework to ensure and improve the reliability and robustness of A/B-testing practices.