Understanding Implicit Regularization in Over-Parameterized Single Index Model
理解过参数化单指标模型中的隐式正则化AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要研究通用高维单指标模型及隐式正则化，未明确涉及结构经济模型或其他所列细分方向。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
理解过参数化单指标模型中的隐式正则化
- 研究问题
- 在连接函数未知、响应可能重尾的高维单指标模型中，过参数化梯度下降能否隐式恢复稀疏向量或低秩矩阵信号？
- 方法与思路
- 作者假定协变量分布已知，结合得分函数变换与重尾截断构造过参数化平方损失，再用无显式正则项的梯度下降估计。
- 材料陈述的贡献
- 摘要称在接近原点初始化及足够小步长下，向量和矩阵估计均达到极小极大最优统计速度，实验支持相关理论。
- 阅读关注点
- 应核对已知协变量分布的作用、得分变换的识别条件、截断与迭代次数要求，以及初始化和步长限制的可操作性。
- 阅读边界
- 这是 arXiv 预印本，同行评审及期刊接收未核验；摘要未给出最优速度和完整假设，实验优势仅限所考察设置。
原文摘要
In this paper, we leverage over-parameterization to design regularization-free algorithms for the high-dimensional single index model and provide theoretical guarantees for the induced implicit regularization phenomenon. Specifically, we study both vector and matrix single index models where the link function is nonlinear and unknown, the signal parameter is either a sparse vector or a low-rank symmetric matrix, and the response variable can be heavy-tailed. To gain a better understanding of the role played by implicit regularization without excess technicality, we assume that the distribution of the covariates is known a priori. For both the vector and matrix settings, we construct an over-parameterized least-squares loss function by employing the score function transform and a robust truncation step designed specifically for heavy-tailed data. We propose to estimate the true parameter by applying regularization-free gradient descent to the loss function. When the initialization is close to the origin and the stepsize is sufficiently small, we prove that the obtained solution achieves minimax optimal statistical rates of convergence in both the vector and matrix cases. In addition, our experimental results support our theoretical findings and also demonstrate that our methods empirically outperform classical methods with explicit regularization in terms of both $\ell_2$-statistical rate and variable selection consistency.