A Polyak-Ruppert Central Limit Theorem for SA-Adam with Momentum and Non-Convergent Adaptive Preconditioning
带动量与非收敛自适应预条件的 SA-Adam 的 Polyak-Ruppert 中心极限定理AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要内容为随机逼近与自适应优化器的渐近正态性理论，属于优化与统计学习理论，未涉及所给计量经济学领域细分。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
带动量与非收敛自适应预条件的 SA-Adam 的 Polyak-Ruppert 中心极限定理
- 研究问题
- 摘要称，研究在 Polyak-Ruppert 平均下，同时含预条件、动量与权重衰减的自适应优化器（Adam、AdamW）的平均迭代是否仍保持经典 Polyak-Ruppert 中心极限定理，即协方差为 H^{-1}SH^{-1} 的三明治形式。
- 方法与思路
- 作者将增广状态（迭代与动量缓冲）视为时变线性随机逼近，在局部稳定化条件下证明正漂移稳定性、非自治 Polyak-Ruppert 中心极限定理与一个投影恒等式；摘要指出仅预条件的分析在引入动量后会失效。
- 材料陈述的贡献
- 摘要称得到迭代边际协方差恰为普通随机梯度下降的三明治 H^{-1}SH^{-1}，即自适应在渐近上不可见；该结论适用于次线性衰减动量增益的 SA-Adam（γ∈(α,1)，次线性区间是关键），而非固定 β 的实际部署 Adam；耦合 L2 权重衰减给出岭惩罚三明治。
- 阅读关注点
- 应核对局部稳定化等假设的具体表述、非自治 CLT 与投影恒等式的证明条件、次线性动量增益区间为何不可放宽，以及结论对固定 β 的 Adam 与 AdamW 的适用边界。
- 阅读边界
- 仅依据 arXiv 预印本摘要，未读全文，不能据此声称已通过同行评审或期刊接收；摘要未说明数值实验、有限样本表现与假设可验证性，结论适用范围以摘要陈述为限。
原文摘要
Adaptive optimizers combining preconditioning, momentum, and weight decay (Adam and AdamW) are, under Polyak-Ruppert averaging, candidate engines for one-pass inference. Does the averaged iterate keep the classical Polyak-Ruppert central limit theorem (CLT), with sandwich covariance $H^{-1}SH^{-1}$ (Hessian $H$, gradient covariance $S$), under momentum and non-convergent preconditioning? The preconditioner-only analysis does not carry over: with momentum the canonical decomposition collapses to a tautology. Treating the augmented state (iterate, momentum buffer) as a time-varying linear stochastic approximation (SA), we prove (under local stabilization) positive drift stability, a non-autonomous Polyak-Ruppert CLT, and a projection identity. The upshot: the iterate-marginal covariance is exactly the plain stochastic gradient descent (SGD) sandwich $H^{-1}SH^{-1}$, so the adaptivity is asymptotically invisible. This holds for SA-Adam (sub-linearly vanishing momentum gain, $γ\in(α,1)$; the sub-linear regime is essential), not constant-$β$ deployed Adam. Coupled $L_2$ weight decay yields the ridge-penalized sandwich, extending one-pass inference to regularized problems.