Nonparametric stochastic approximation with large step-sizes
采用大步长的非参数随机逼近AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要属于通用核回归与在线随机优化，未涉及时间序列预测或收益预测，不足以选取所列细分方向。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
采用大步长的非参数随机逼近
- 研究问题
- 面对独立同分布的数据流，即使真实条件均值不属于所选再生核希尔伯特空间，如何在线学习并取得适当的收敛表现？
- 方法与思路
- 作者在随机设计核最小二乘框架中，逐观测更新无正则化最小均方算法，并通过迭代平均及较大步长研究预测收敛率。
- 材料陈述的贡献
- 摘要称算法在多种函数光滑性情形下达到最优收敛率，并在有限维最小二乘中适应协变量协方差矩阵的谱衰减。
- 阅读关注点
- 应核对步长的可行范围、迭代平均方式、光滑性与谱衰减条件，以及最优性的风险准则和真实函数不在空间内时的误差处理。
- 阅读边界
- 仅据所给 OpenAlex 摘要，最优速率的具体表达与条件未说明；较大步长不能理解为任意增大均有效，也不能推断刊本变化。
原文摘要
We consider the random-design least-squares regression problem within the reproducing kernel Hilbert space (RKHS) framework. Given a stream of independent and identically distributed input/output data, we aim to learn a regression function within an RKHS $\mathcal{H}$, even if the optimal predictor (i.e., the conditional expectation) is not in $\mathcal{H}$. In a stochastic approximation framework where the estimator is updated after each observation, we show that the averaged unregularized least-mean-square algorithm (a form of stochastic gradient descent), given a sufficient large step-size, attains optimal rates of convergence for a variety of regimes for the smoothnesses of the optimal prediction function and the functions in $\mathcal{H}$. Our results apply as well in the usual finite-dimensional setting of parametric least-squares regression, showing adaptivity of our estimator to the spectral decay of the covariance matrix of the covariates.