Generalization in Representation Models via Random Matrix Theory: Application to Recurrent Networks
随机矩阵理论视角下的表示模型泛化：在循环网络中的应用AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要涉及循环网络、时间加权输入协方差与记忆效应，与时间序列建模直接相关，故选择时间序列方向。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
随机矩阵理论视角下的表示模型泛化：在循环网络中的应用
- 研究问题
- 研究固定特征表示（冻结中间层）加可训练读出层的模型在高维情形下的泛化误差，并刻画循环表示（如回声状态网络）的性能。
- 方法与思路
- 作者提出在高维极限下运用随机矩阵理论，推导渐近泛化误差的闭式表达式，并将其应用于循环表示，得到刻画性能的简洁公式。
- 材料陈述的贡献
- 摘要称推导出渐近泛化误差的闭式解，并证明线性回声状态网络等价于带指数时间加权（记忆）输入协方差的岭回归，揭示其对近期输入的归纳偏置；实验称与预测一致。
- 阅读关注点
- 应核对高维渐近假设的具体条件、随机矩阵理论的适用前提、闭式表达式的推导步骤，以及实验设置能否支持ESN与岭回归的对比结论。
- 阅读边界
- 这是arXiv预印本，未经同行评审或期刊接收；摘要未说明识别假设、定理细节、数据与数值结果，不能据此判断结论的普遍性。
原文摘要
We first study the generalization error of models that use a fixed feature representation (frozen intermediate layers) followed by a trainable readout layer. This setting encompasses a range of architectures, from deep random-feature models to echo-state networks (ESNs) with recurrent dynamics. Working in the high-dimensional regime, we apply Random Matrix Theory to derive a closed-form expression for the asymptotic generalization error. We then apply this analysis to recurrent representations and obtain concise formula that characterize their performance. Surprisingly, we show that a linear ESN is equivalent to ridge regression with an exponentially time-weighted (''memory'') input covariance, revealing a clear inductive bias toward recent inputs. Experiments match predictions: ESNs win in low-sample, short-memory regimes, while ridge prevails with more data or long-range dependencies. Our methodology provides a general framework for analyzing overparameterized models and offers insights into the behavior of deep learning networks.