Shrinkage to Infinity: Reducing Test Error by Inflating the Minimum Norm Interpolator in Linear Models
收缩到无穷：通过放大最小范数插值器降低线性模型检验误差AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要讨论高维线性回归的插值器与泛化误差理论，未涉及所提供领域细分中的因果推断、面板、时间序列、资产定价等方向，故不选择任何细分。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
收缩到无穷：通过放大最小范数插值器降低线性模型检验误差
- 研究问题
- 摘要称，研究在高维线性回归中，当协变量高度各向异性且 d/n 发散时，传统岭正则化/收缩处方是否仍然适用，以及放大最小 ℓ2 范数插值器能否改善泛化误差。
- 方法与思路
- 作者在协变量高度各向异性、d/n 发散的设定下，从理论上匹配高斯随机投影期望的上界与下界，并用数据拆分技术构造一致估计量，同时给出经验验证。
- 材料陈述的贡献
- 摘要称，理论与实证均发现将最小 ℓ2 范数插值器按大于一的常数放大可改善泛化误差，这与传统正则化/收缩建议形成鲜明对比；数据拆分估计量可达到与最优放大插值器相当的泛化误差。
- 阅读关注点
- 阅读全文时应核对：各向异性协方差与 β 对齐条件的具体设定、d/n 发散速率、放大常数的选取方式、数据拆分估计量的构造与一致性论证，以及经验结果所依赖的模拟或数据设计。
- 阅读边界
- 仅凭摘要无法判断证明细节、有限样本表现、放大常数的可操作性及结论对协方差假设的敏感度；该文为 arXiv 预印本，未经同行评审验证，不能据此声称已被期刊接收。
原文摘要
Hastie et al. (2022) found that ridge regularization is essential in high dimensional linear regression $y=β^Tx + ε$ with isotropic co-variates $x\in \mathbb{R}^d$ and $n$ samples at fixed $d/n$. However, Hastie et al. (2022) also notes that when the co-variates are anisotropic and $β$ is aligned with the top eigenvalues of population covariance, the "situation is qualitatively different." In the present article, we make precise this observation for linear regression with highly anisotropic covariances and diverging $d/n$. We find (both theoretically and empirically) that simply scaling up (or inflating) the minimum $\ell_2$ norm interpolator by a constant greater than one can improve the generalization error. This is in sharp contrast to traditional regularization/shrinkage prescriptions. Moreover, we use a data-splitting technique to produce consistent estimators that achieve generalization error comparable to that of the optimally inflated minimum-norm interpolator. Our proof relies on matching upper and lower bounds for expectations of Gaussian random projections for a general class of anisotropic covariance matrices when $d/n\rightarrow \infty$.