Surprises in high-dimensional ridgeless least squares interpolation
高维无岭最小二乘插值中的意外现象AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要研究通用高维回归预测理论，未涉及宏观预测或金融收益预测等指定方向。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
高维无岭最小二乘插值中的意外现象
- 研究问题
- 当参数维数与样本量同阶时，最小范数且训练误差为零的最小二乘插值为何会出现预测风险双下降及过参数化收益？
- 方法与思路
- 作者研究最小二范数无岭插值，分别考虑独立分量经线性变换生成的特征，以及单层随机神经网络生成的非线性特征。
- 材料陈述的贡献
- 摘要称对预测风险的双下降现象及过参数化的潜在收益给出精确定量刻画，连接神经网络和核方法中观察到的现象。
- 阅读关注点
- 应核对两类特征模型的分布条件、预测风险的定义，以及维数比例、信号和噪声如何决定过参数化是否有益。
- 阅读边界
- 仅据版本未注明的 OpenAlex 摘要；风险表达式和具体条件未提供，不能将结论推广为任意神经网络的性能保证。
原文摘要
Interpolators—estimators that achieve zero training error—have attracted growing attention in machine learning, mainly because state-of-the art neural networks appear to be models of this type. In this paper, we study minimum ℓ2 norm (“ridgeless”) interpolation least squares regression, focusing on the high-dimensional regime in which the number of unknown parameters p is of the same order as the number of samples n. We consider two different models for the feature distribution: a linear model, where the feature vectors xi∈Rp are obtained by applying a linear transform to a vector of i.i.d. entries, xi=Σ1/2zi (with zi∈Rp); and a nonlinear model, where the feature vectors are obtained by passing the input through a random one-layer neural network, xi=φ(Wzi) (with zi∈Rd, W∈Rp×d a matrix of i.i.d. entries, and φ an activation function acting componentwise on Wzi). We recover—in a precise quantitative way—several phenomena that have been observed in large-scale neural networks and kernel machines, including the “double descent” behavior of the prediction risk, and the potential benefits of overparametrization.