On Regularization via Early Stopping for Least Squares Regression
最小二乘回归中早停正则化的研究AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要讨论线性回归的梯度下降动力学与早停正则化，属机器学习理论，未涉及所提供计量领域细分。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
最小二乘回归中早停正则化的研究
- 研究问题
- 研究问题：早停如何影响线性回归中离散全批量梯度下降所获参数及其泛化能力，在任意学习率与数据下这一效应尚不完全清楚。
- 方法与思路
- 方法思路：作者在最小分布假设下分析离散全批量梯度下降的动力学，刻画参数轨迹与期望超额风险，并据此比较早停解与广义岭回归最小范数解。
- 材料陈述的贡献
- 摘要所述贡献：证明任意学习率调度与有限时间下早停解等价于广义岭回归的最小范数解，并证明对任意谱的通用数据与多种学习率调度早停有益，给出最优停止时间的估计及其实证准确性。
- 阅读关注点
- 阅读时应核对：分布假设的具体内容、轨迹与期望超额风险刻画的推导条件、等价性成立的精确范围、最优停止时间估计的构造与实验设置。
- 阅读边界
- 摘要信息的边界：这是arXiv预印本，未经同行评审或期刊接收；仅凭摘要无法判断证明细节、假设强度与实验可复现性。
原文摘要
A fundamental problem in machine learning is understanding the effect of early stopping on the parameters obtained and the generalization capabilities of the model. Even for linear models, the effect is not fully understood for arbitrary learning rates and data. In this paper, we analyze the dynamics of discrete full batch gradient descent for linear regression. With minimal distributional assumptions, we characterize the trajectory of the parameters and the expected excess risk. Using this characterization, we show that when training with any learning rate schedule and finite time horizon, the early stopped solution is equivalent to the minimum norm solution for a generalized ridge regression problem. We also prove that early stopping is beneficial for generic data with arbitrary spectrum and for a wide variety of learning rate schedules. We provide an estimate for the optimal stopping time and empirically demonstrate the accuracy of our estimate.