Exact minimax risk for linear least squares, and the lower tail of sample covariance matrices
线性最小二乘的精确极小极大风险与样本协方差矩阵的下尾AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要讨论通用线性预测风险与随机矩阵理论，没有足够证据对应所列经济计量领域细分。
反馈分类问题正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
线性最小二乘的精确极小极大风险与样本协方差矩阵的下尾
- 研究问题
- 在随机设计的完整线性预测类中，协变量分布如何决定极小极大期望超额风险，样本协方差矩阵的下尾又如何影响风险界？
- 方法与思路
- 作者以样本杠杆分数分布表达风险，在小球型正则条件下推导非渐近上界，并用 PAC-Bayes 技术研究经验协方差矩阵的下尾。
- 材料陈述的贡献
- 摘要称正确设定时最小二乘精确达到极小极大风险，并给出普适风险下界及最小奇异值下尾界，在必要正则条件下取得匹配上界。
- 阅读关注点
- 核对精确最优性所对应的模型与风险定义、样本量和维数限制，以及小球条件、必要正则条件和误设情形上界的具体范围。
- 阅读边界
- 仅据版本未注明的 OpenAlex 索引摘要；噪声条件、退化设计处理及各界的常数未说明，不能推断刊本变化或任意设计下风险有限。
原文摘要
We consider random-design linear prediction and related questions on the lower tail of random matrices. It is known that, under boundedness constraints, the minimax risk is of order d/n in dimension d with n samples. Here, we study the minimax expected excess risk over the full linear class, depending on the distribution of covariates. First, the least squares estimator is exactly minimax optimal in the well-specified case, for every distribution of covariates. We express the minimax risk in terms of the distribution of statistical leverage scores of individual samples, and deduce a minimax lower bound of d/(n−d+1) for any covariate distribution, nearly matching the risk for Gaussian design. We then obtain sharp nonasymptotic upper bounds for covariates that satisfy a “small ball”-type regularity condition in both well-specified and misspecified cases. Our main technical contribution is the study of the lower tail of the smallest singular value of empirical covariance matrices at small values. We establish a lower bound on this lower tail, valid for any distribution in dimension d≥2, together with a matching upper bound under a necessary regularity condition. Our proof relies on the PAC-Bayes technique for controlling empirical processes, and extends an analysis of Oliveira devoted to a different part of the lower tail.