Online covariance estimation for stochastic gradient descent under Markovian sampling
马尔可夫采样下随机梯度下降的在线协方差估计AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要主题为随机优化算法的协方差估计与收敛率理论，未涉及所给微观、宏观或金融领域细分的具体经济数据或模型设定，故不选择任何细分方向。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
马尔可夫采样下随机梯度下降的在线协方差估计
- 研究问题
- 研究在马尔可夫采样条件下，如何为随机梯度下降（SGD）迭代构造在线协方差估计量，并刻画其收敛速度。
- 方法与思路
- 作者提出在线重叠批均值（overlapping batch-means）协方差估计量，分别在状态依赖与状态独立两种马尔可夫采样设定下推导收敛率，并处理马尔可夫依赖带来的额外误差项与块间复杂相依结构。
- 材料陈述的贡献
- 摘要称在两种采样设定下分别得到 O(√d n^{-1/8}(log n)^{1/4}) 与 O(√d n^{-1/8}) 的收敛率，与 i.i.d. 数据下已知最优速率相当；并给出状态依赖马尔可夫数据下 SGD 误差 ℓ2 范数前四阶矩的收敛率，作为独立结果。
- 阅读关注点
- 应核对马尔可夫采样与混合条件的假设、批均值块长与迭代数的关系、额外误差项的处理方式，以及数值实验中置信区间覆盖率与策略分类应用的具体设定。
- 阅读边界
- 仅依据预印本摘要，无法判断证明细节、假设强度与数值表现；该版本为 arXiv 预印本，不能据此声称已通过同行评审或期刊接收。
原文摘要
We investigate the online overlapping batch-means covariance estimator for Stochastic Gradient Descent (SGD) under Markovian sampling. Convergence rates of order $O\big(\sqrt{d}\,n^{-1/8}(\log n)^{1/4}\big)$ and $O\big(\sqrt{d}\,n^{-1/8}\big)$ are established under state-dependent and state-independent Markovian sampling, respectively, where $d$ is the dimensionality and $n$ denotes observations or SGD iterations. These rates match the best-known convergence rate for independent and identically distributed (i.i.d) data. Our analysis overcomes significant challenges that arise due to Markovian sampling, leading to the introduction of additional error terms and complex dependencies between the blocks of the batch-means covariance estimator. Moreover, we establish the convergence rate for the first four moments of the $\ell_2$ norm of the error of SGD dynamics under state-dependent Markovian data, which holds potential interest as an independent result. Numerical illustrations provide confidence intervals for SGD in linear and logistic regression models under Markovian sampling. Additionally, our method is applied to the strategic classification with logistic regression, where adversaries adaptively modify features during training to affect target class classification.