Discussion of: “Nonparametric regression using deep neural networks with ReLU activation function”
关于“使用 ReLU 深度神经网络进行非参数回归”的讨论AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：文本讨论通用非参数回归与神经网络理论，没有所列经济或金融细分方向的直接证据。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关于“使用 ReLU 深度神经网络进行非参数回归”的讨论
- 研究问题
- 被讨论论文关于稀疏多层神经网络的非参数回归理论，在多大程度上能够解释深度学习的实际成功与局限？
- 方法与思路
- 讨论作者围绕稀疏性与泛化、维数灾难和计算三个问题展开评议，聚焦多层感知机，并明确排除卷积网络。
- 材料陈述的贡献
- 所给文本提出理解理论模型与实际深度学习之间联系的三个挑战；其中近极小极大预测误差结果归属于被讨论论文。
- 阅读关注点
- 应分别核对被讨论论文的假设与结论、评论作者提出的质疑，以及理论估计器与实际网络训练之间的联系。
- 阅读边界
- 这是讨论文章的版本未注明索引摘要，不能冒充主论文成果；指数表达式的上下标不清，须查原 PDF，不宜重构公式。
原文摘要
We congratulate Johannes Schmidt-Hieber for his elegant and thought-provoking results.His article uses deep-learning-inspired methods in the context of nonparametric regression.Schmidt-Hieber defines a rich class of composition-based functions G(q, d, t, β, K) and a class of sparse multilayer neural networks F(L, p, s, F ).He proves that least squares estimation over the class of sparse neural networks (with suitably chosen architecture (L, p, s, F )) achieves nearly minimax prediction error over G(q, d, t, β, K).The modeling and analysis in this paper are both elegant and original.They trigger a natural question: how much of the empirical success of deep learning can be understood using this model?As a way to stimulate reflection on this question, we will discuss three challenges: 1. Sparsity and generalization; 2. Curse of dimensionality; 3. Computation.Throughout, we will denote by ε * = min 0≤i≤q [2β * i /(2β * i + t i )] ∈ (0, 1) the minimax exponent in the class G(q, d, t, β, K).Also, in our discussion we shall focus on multilayer perceptrons, and, in particular, we exclude convolutional networks.The latter have entirely different structure, and they do not follow within the scope of the present paper.