Self-Distillation is Optimal Among Spectral Shrinkage Estimators in Spiked Covariance Models
尖峰协方差模型中自蒸馏在谱收缩估计量中的最优性AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要聚焦尖峰协方差模型中的谱收缩估计与自蒸馏理论，属于统计估计与机器学习理论，未涉及所给微观、宏观或金融计量细分方向的直接文本依据。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
尖峰协方差模型中自蒸馏在谱收缩估计量中的最优性
- 研究问题
- 摘要称，本文研究自蒸馏为何能提升预测性能，并在尖峰协方差模型框架下考察自蒸馏与谱收缩估计量之间的统计关系，包括中心化与联邦式数据情形下的最优估计规则。
- 方法与思路
- 作者提出并分析一类谱收缩估计量，在含 s 个尖峰的尖峰协方差模型中刻画自蒸馏的统计性质；对等向协方差这一特殊子类比较调优岭回归；并研究多数据中心共享估计量、由服务器聚合的联邦设定。
- 材料陈述的贡献
- 摘要称，对含 s 个尖峰的协方差，s 步自蒸馏在谱收缩估计量类中达到最优，且 s 步是必要的：任何 (s-k) 步蒸馏估计量都严格次优；等向协方差下最优调优岭回归在该类中最优；联邦情形下最优局部规则仍为自蒸馏形式，但与集中式最优规则不同。
- 阅读关注点
- 应核对谱收缩估计量类的确切定义与包含范围、最优性的准则与假设、s 步必要性的证明条件、等向情形下岭回归最优的适用范围，以及联邦聚合规则与集中式规则的差异来源。
- 阅读边界
- 仅凭摘要无法判断定理的识别假设、证明细节、模拟或实证证据，也无法确认结论在更一般协方差结构下的适用性；该文为 arXiv 预印本，未经同行评审验证。
原文摘要
Self-distillation has emerged as a promising technique for improving model performance in modern machine learning systems. We develop the statistical foundations of self-distillation in spiked covariance models, by introducing and analyzing a broad class of estimators, namely spectral shrinkage estimators. We establish that for spiked covariance matrices with $s$ spikes, $s$-step self-distillation achieves optimal performance among spectral shrinkage estimators, outperforming well-known estimators in statistics and machine learning. Moreover, we show that $s$ steps are necessary for optimality: any $(s-k)$-step distilled estimator is strictly suboptimal for $1 \leq k \leq s$. For the special subclass of isotropic covariances, we show that optimally tuned Ridge regression performs best among spectral shrinkage estimators. We also study a federated approach where multiple data centers share spectral shrinkage estimators and a common server seeks to aggregate them to achieve optimal performance. In this case, we find that the best local rule again takes the form of self-distillation, though it differs from the optimal rule when data are hosted centrally on a single server. Together, our results elucidate why self-distillation improves predictive performance and provide a broader statistical framework connecting it with classical shrinkage-based methods.