Prediction-Only Distillation in Linear and Logistic Regression
线性与逻辑回归中的仅预测蒸馏AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要主题为自蒸馏与预测风险的理论分析，属于机器学习与统计学习理论，未涉及所给计量经济学领域细分中的因果推断、面板、离散选择、时间序列或金融等方向。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
线性与逻辑回归中的仅预测蒸馏
- 研究问题
- 研究问题：在标注训练数据不可得、只能访问已训练预测器和新的无标注协变量的“仅预测”场景下，自蒸馏能否降低预测风险，以及最优混合权重能否被识别与估计。
- 方法与思路
- 方法思路：作者提出 fresh-X 预测混合方案，学生模型在新协变量上用教师伪标签训练，最终预测为教师与学生的仿射组合；对岭回归在比例渐近下推导最优混合预测风险的确定性等价，并讨论逻辑回归。
- 材料陈述的贡献
- 摘要所述贡献：证明在一般各向异性协方差与确定性信号下，最优混合风险几乎对所有师生正则化组合都严格小于教师风险，包括新协变量为分布外甚至协方差为各向同性的情形；指出最优混合权重无法仅由无标注数据识别，但可用小型独立标注校准集一步一致估计；逻辑回归中预测混合可优于教师与纯蒸馏分类器。
- 阅读关注点
- 阅读时应核对：比例渐近与各向异性协方差等假设的具体表述、确定性等价推导条件、混合风险严格更优结论的适用范围与边界情形、校准集估计量的相合性条件，以及逻辑回归结论是理论还是实验。
- 阅读边界
- 摘要信息的边界：仅凭摘要无法判断证明细节、有限样本表现、校准集规模要求与实验设置；该文为 arXiv 预印本，未经同行评审或期刊接收验证。
原文摘要
Self-distillation (SD) is typically studied when the student is retrained on the teacher's original training inputs. In many practical deployments, however, the labeled training data are no longer available, and one has access only to the trained predictor and fresh unlabeled covariates. We study SD in this prediction-only regime through a fresh-X prediction-mixed scheme: a pure-distilled student is trained on fresh covariates pseudo-labeled by the teacher, and the final predictor is an affine combination of the teacher and student predictions. For ridge regression under proportional asymptotics, we derive deterministic equivalents for the optimally mixed prediction risk under general anisotropic covariance and deterministic signal. We show that this risk is strictly smaller than the teacher risk for almost every pair of teacher and student regularization levels, including when the fresh covariates are out-of-distribution and even when their covariance is isotropic. We further show that the optimal mixing weight cannot be identified from unlabeled data alone, but can be consistently estimated in a single post-training step using a small independent labeled calibration set, without additional model fitting. Finally, for binary logistic regression, we show that prediction mixing can outperform both the teacher and the pure-distilled classifier.