High-dimensional ridge regression with random features for non-identically distributed data with a variance profile
非独立同分布数据与方差剖面下的高维随机特征岭回归AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要讨论的是高维随机特征岭回归的渐近风险理论，属于高维统计与随机矩阵方法，未涉及所提供领域细分中的因果推断、面板、离散选择、时间序列、资产定价等方向，故不选择任何细分。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
非独立同分布数据与方差剖面下的高维随机特征岭回归
- 研究问题
- 摘要称，随机特征岭回归通常在同质采样模型下分析，即所有样本共享同一协方差矩阵；本文研究训练与测试协变量具有行相关对角协方差矩阵（方差剖面模型）的非独立同分布数据，考察此时训练风险与测试风险的渐近行为。
- 方法与思路
- 作者提出方差剖面模型，令训练与测试协变量的协方差为行相关的对角矩阵；在 n、p、m 成比例增长的高维框架下，先用线性加混沌近似结合 traffic-probability 论证得到一组渐近等价式，再通过算子值自由概率与沿对角线的融合论证得到确定性的第二组等价式。
- 材料陈述的贡献
- 摘要称主要贡献是推导出随机特征岭回归训练风险与测试风险的渐近等价式，并称这些等价式在数值实验中是精确的；结果还揭示异质方差剖面（包括受 MNIST 启发的混合型剖面）如何改变泛化表现，并在岭参数较小时呈现双下降行为。
- 阅读关注点
- 阅读全文时应核对：方差剖面模型的具体假设与适用范围；两组渐近等价式的正则条件及 n、p、m 成比例的确切含义；线性加混沌近似、traffic-probability 与算子值自由概率论证的衔接是否完整；数值实验中 MNIST 型剖面的构造方式，以及双下降结论对岭参数与剖面设定的依赖。
- 阅读边界
- 仅凭摘要无法判断定理的完整假设、证明细节与数值实验设置，也不能确认等价式的适用范围与有限样本表现；摘要未说明与既有同质采样结果的定量比较，也未给出具体收敛速率或误差界。该文为 arXiv 预印本，未经同行评审验证，不能据此声称已被期刊接收。
原文摘要
Random feature ridge regression is often analyzed in the high-dimensional regime under the homogeneous sampling model $x_i=Σ^{1/2}x_i'$, where the vectors $x_i'$ have iid entries and the same covariance matrix $Σ$ is shared by all samples. In this paper, we move beyond this setting and study non-identically distributed data through a variance-profile model in which the training and test covariates have row-dependent diagonal covariance matrices $Σ_i=\diag(γ_{i1}^2,\ldots,γ_{ip}^2)$ and $\widetildeΣ_i=\diag(\tildeγ_{i1}^2,\ldots,\tildeγ_{ip}^2)$. Our main contribution is the derivation of asymptotic equivalents for the training and test risks of ridge regression with random features when $n$, $p$, and $m$ grow proportionally. The first set of equivalents is obtained by combining the linear-plus-chaos approximation with traffic-probability arguments, whereas the second set is deterministic and follows from operator-valued free probability through an amalgamation-over-the-diagonal argument. These equivalents are sharp in numerical experiments. They also reveal how heterogeneous variance profiles, including mixture-type profiles inspired by MNIST, can modify generalization and exhibit double-descent behavior when the ridge parameter is small.