Statistical inference for model parameters in stochastic gradient descent
随机梯度下降中模型参数的统计推断AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要研究通用优化算法输出的参数推断及高维回归，没有指定因果、时间序列或金融预测任务，分类依据不足。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
随机梯度下降中模型参数的统计推断
- 研究问题
- 除了优化误差，如何基于随机梯度下降输出推断真实模型参数，并在固定维数及高维线性回归中构造置信区间？
- 方法与思路
- 作者在总体损失强凸且满足平滑条件时，为平均迭代量提出插入式与批均值协方差估计，并以SGD变体构造高维去偏估计。
- 材料陈述的贡献
- 摘要称固定维数下两种协方差估计支持渐近精确推断，高维回归下得到渐近正态的系数估计及适用于在线数据的单遍算法。
- 阅读关注点
- 应核对强凸和平滑条件、步长与批次划分要求，以及高维去偏估计的稀疏性限制和单遍计算的具体实现方式。
- 阅读边界
- 所给材料为版本未注明的索引摘要，步长、维数增长和推断条件未说明；固定维数结果与高维线性回归结果不能相互直接推广。
原文摘要
The stochastic gradient descent (SGD) algorithm has been widely used in statistical estimation for large-scale data due to its computational and memory efficiency. While most existing works focus on the convergence of the objective function or the error of the obtained solution, we investigate the problem of statistical inference of true model parameters based on SGD when the population loss function is strongly convex and satisfies certain smoothness conditions. Our main contributions are twofold. First, in the fixed dimension setup, we propose two consistent estimators of the asymptotic covariance of the average iterate from SGD: (1) a plug-in estimator, and (2) a batch-means estimator, which is computationally more efficient and only uses the iterates from SGD. Both proposed estimators allow us to construct asymptotically exact confidence intervals and hypothesis tests. Second, for high-dimensional linear regression, using a variant of the SGD algorithm, we construct a debiased estimator of each regression coefficient that is asymptotically normal. This gives a one-pass algorithm for computing both the sparse regression coefficients and confidence intervals, which is computationally attractive and applicable to online data.