A Reality Check for Data Snooping
数据窥探的现实检验AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要以时间序列数据的重复使用为背景，并直接检验模型相对基准的预测优势，对应预测方法与时间序列研究。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
数据窥探的现实检验
- 研究问题
- 同一时间序列被反复用于推断与模型选择后，如何判断规格搜索中表现最好的模型是否确实具有超越给定基准的预测能力？
- 方法与思路
- 作者提出检验程序，以规格搜索中最佳模型相对给定基准没有预测优势为原假设，评估数据重复使用后的良好表现是否可能来自偶然。
- 材料陈述的贡献
- 摘要称该程序为评估数据窥探提供简明、可操作的方法，使研究者能够检验搜索得到的预测优势，降低将偶然表现误认为有效方法的风险。
- 阅读关注点
- 核对候选模型集合、预测优劣的评价标准和检验统计量，尤其关注检验如何处理规格搜索、数据复用与时间序列依赖。
- 阅读边界
- 摘要未说明检验统计量的构造、临界值计算及有效性条件，也未报告应用结果；无法仅凭摘要判断检验的有限样本表现。
原文摘要
Data snooping occurs when a given set of data is used more than once for purposes of inference or model selection. When such data reuse occurs, there is always the possibility that any satisfactory results obtained may simply be due to chance rather than to any merit inherent in the method yielding the results. This problem is practically unavoidable in the analysis of time-series data, as typically only a single history measuring a given phenomenon of interest is available for analysis. It is widely acknowledged by empirical researchers that data snooping is a dangerous practice to be avoided, but in fact it is endemic. The main problem has been a lack of sufficiently simple practical methods capable of assessing the potential dangers of data snooping in a given situation. Our purpose here is to provide such methods by specifying a straightforward procedure for testing the null hypothesis that the best model encountered in a specification search has no predictive superiority over a given benchmark model. This permits data snooping to be undertaken with some degree of confidence that one will not mistake results that could have been generated by chance for genuinely good results.