Online Covariance Matrix Estimation in Stochastic Gradient Descent
随机梯度下降中的在线协方差矩阵估计AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要关注通用优化估计量的在线统计推断，未指定因果、宏观或金融等所列应用方向。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
随机梯度下降中的在线协方差矩阵估计
- 研究问题
- 在持续接收新观测的在线学习中，如何量化平均随机梯度下降估计量的变异，并高效更新参数置信区间？
- 方法与思路
- 作者提出仅使用 SGD 迭代值的全在线协方差估计量，结合平均 SGD 的经典渐近正态性构造并更新置信区间。
- 材料陈述的贡献
- 摘要称证明在线协方差估计的一致性，其收敛率可与离线方法相比，并据此获得参数的渐近有效置信区间。
- 阅读关注点
- 核对目标函数、步长、观测过程及矩条件，查看迭代分组和协方差更新方式，并确认置信区间适用的渐近范围。
- 阅读边界
- 摘要未给出一致性所需条件、具体收敛率及计算开销，不能推断对任意 SGD 设置都有效。来源为版本未注明的 OpenAlex 索引摘要，刊本变化未知。
原文摘要
The stochastic gradient descent (SGD) algorithm is widely used for parameter estimation, especially for huge datasets and online learning. While this recursive algorithm is popular for computation and memory efficiency, quantifying variability and randomness of the solutions has been rarely studied. This article aims at conducting statistical inference of SGD-based estimates in an online setting. In particular, we propose a fully online estimator for the covariance matrix of averaged SGD (ASGD) iterates only using the iterates from SGD. We formally establish our online estimator’s consistency and show that the convergence rate is comparable to offline counterparts. Based on the classic asymptotic normality results of ASGD, we construct asymptotically valid confidence intervals for model parameters. Upon receiving new observations, we can quickly update the covariance matrix estimate and the confidence intervals. This approach fits in an online setting and takes full advantage of SGD: efficiency in computation and memory.