Gradient descent inference in empirical risk minimization
经验风险最小化中的梯度下降推断AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要讨论的是高维经验风险最小化中梯度下降的分布理论与推断方法，属于统计学习与高维统计理论，未涉及所给因果推断、面板、时间序列、资产定价等任何领域细分的直接文本依据。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
经验风险最小化中的梯度下降推断
- 研究问题
- 摘要称，梯度下降在高维统计学习中被广泛使用，但其精确的算法动态尚未被充分理解，这限制了它在统计推断中的应用；本文研究在样本量与信号维度成比例的平均场情形下，梯度下降迭代及其去偏统计量的分布刻画问题。
- 方法与思路
- 作者提出非渐近的状态演化理论，对一类经验风险最小化问题给出梯度下降迭代的联合分布刻画，适用于一般非凸损失与非高斯数据，并引入两个 Onsager 修正矩阵刻画各次迭代间的非平凡依赖；据此提出通过过去迭代线性组合进行去偏的梯度下降推断算法。
- 材料陈述的贡献
- 摘要称，该框架适用于凸与非凸损失，在每次迭代处均有效而不要求算法收敛，并对可能的模型误设定表现出一定稳健性；作为副产品还提供每次迭代泛化误差的算法估计，并在单指标回归与广义 logistic 回归中演示理论与推断方法。
- 阅读关注点
- 阅读全文时应核对：状态演化理论的具体假设与适用范围、Onsager 修正矩阵的定义与可估性、去偏系数的估计步骤及其分布近似保证、稳健性结论的确切含义，以及两个示例中非凸损失下的验证细节。
- 阅读边界
- 仅凭摘要无法判断定理的完整识别条件、有限样本表现、与已有高维推断方法的比较，以及示例之外的适用性；摘要未说明具体数值结果与证明细节。该文为 arXiv 预印本，不能据此声称已经同行评审或期刊接收。
原文摘要
Gradient descent is one of the most widely used iterative algorithms in modern statistical learning. However, its precise algorithmic dynamics in high-dimensional settings remain only partially understood, which has limited its broader potential for statistical inference applications. This paper provides a precise, non-asymptotic joint distributional characterization of gradient descent iterates and their debiased statistics in a broad class of empirical risk minimization problems, in the so-called mean-field regime where the sample size is proportional to the signal dimension. Our non-asymptotic state evolution theory holds for both general non-convex loss functions and non-Gaussian data, and reveals the central role of two Onsager correction matrices that precisely characterize the non-trivial dependence among all gradient descent iterates in the mean-field regime. Leveraging the joint state evolution characterization, we show that the gradient descent iterate retrieves approximate normality after a debiasing correction via a linear combination of all past iterates, where the debiasing coefficients can be estimated by the proposed gradient descent inference algorithm. This leads to a new algorithmic statistical inference framework based on debiased gradient descent, which (i) applies to a broad class of models with both convex and non-convex losses, (ii) remains valid at each iteration without requiring algorithmic convergence, and (iii) exhibits a certain robustness to possible model misspecification. As a by-product, our framework also provides algorithmic estimates of the generalization error at each iteration. As canonical examples, we demonstrate our theory and inference methods in the single-index regression model and a generalized logistic regression model, where the natural loss functions may exhibit arbitrarily non-convex landscapes.