How do noise tails impact on deep ReLU networks?
噪声尾部如何影响深度 ReLU 网络？AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要研究通用非参数回归与神经网络理论，未明确对应所列计量领域细分。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
噪声尾部如何影响深度 ReLU 网络？
- 研究问题
- 当回归噪声仅具有有限的 p 阶矩时，深度 ReLU 网络的估计稳定性与收敛速度如何随噪声尾部、函数光滑度和内在维度变化？
- 方法与思路
- 作者结合自适应 Huber 损失与深度 ReLU 网络，研究具有层级复合结构的非参数回归，并推导允许优化误差的集中不等式。
- 材料陈述的贡献
- 摘要称，适当选择 Huber 参数可达到普通最小二乘无法达到的所述最优速率，并给出相匹配的下界及新的网络逼近结果。
- 阅读关注点
- 应核对矩条件、函数类和网络规模限制，Huber 参数对未知量的依赖，以及下界究竟针对何种估计器类别和优化误差范围。
- 阅读边界
- 这是 arXiv 预印本，不能据此认定已同行评审或期刊接收；摘要未列出具体速率及完整条件，所述最优性不能推广到任意网络与损失。
原文摘要
This paper investigates the stability of deep ReLU neural networks for nonparametric regression under the assumption that the noise has only a finite p-th moment. We unveil how the optimal rate of convergence depends on p, the degree of smoothness and the intrinsic dimension in a class of nonparametric regression functions with hierarchical composition structure when both the adaptive Huber loss and deep ReLU neural networks are used. This optimal rate of convergence cannot be obtained by the ordinary least squares but can be achieved by the Huber loss with a properly chosen parameter that adapts to the sample size, smoothness, and moment parameters. A concentration inequality for the adaptive Huber ReLU neural network estimators with allowable optimization errors is also derived. To establish a matching lower bound within the class of neural network estimators using the Huber loss, we employ a different strategy from the traditional route: constructing a deep ReLU network estimator that has a better empirical loss than the true function and the difference between these two functions furnishes a low bound. This step is related to the Huberization bias, yet more critically to the approximability of deep ReLU networks. As a result, we also contribute some new results on the approximation theory of deep ReLU neural networks.