Bridging the gap between constant step size stochastic gradient descent and Markov chains
连接恒定步长随机梯度下降与马尔可夫链AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要属于随机优化与马尔可夫链分析，算法中的马尔可夫结构不足以归入时间序列计量。
反馈分类问题正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
连接恒定步长随机梯度下降与马尔可夫链
- 研究问题
- 对于强凸目标函数，恒定步长随机梯度下降的平均迭代如何受到初值、梯度噪声与步长影响，并能否更接近最优点？
- 方法与思路
- 作者引入马尔可夫链理论，推导平均迭代矩的显式渐近展开，再利用 Richardson–Romberg 外推改进优化结果。
- 材料陈述的贡献
- 摘要称将分析拓展至一般非二次目标，揭示恒定步长下的收敛局限，并报告新外推方案在实验中的改进。
- 阅读关注点
- 应核对强凸性与梯度噪声条件、矩展开的极限方式、非二次情形的收敛目标，以及外推的构造和计算代价。
- 阅读边界
- 所给 OpenAlex 索引摘要未注明稿件版本；摘要未给出展开余项、步长范围或实验指标，不能认定外推对所有问题均有效。
原文摘要
We consider the minimization of a strongly convex objective function given access to unbiased estimates of its gradient through stochastic gradient descent (SGD) with constant step size. While the detailed analysis was only performed for quadratic functions, we provide an explicit asymptotic expansion of the moments of the averaged SGD iterates that outlines the dependence on initial conditions, the effect of noise and the step size, as well as the lack of convergence in the general (nonquadratic) case. For this analysis we bring tools from Markov chain theory into the analysis of stochastic gradient. We then show that Richardson–Romberg extrapolation may be used to get closer to the global optimum, and we show empirical improvements of the new extrapolation scheme.