A precise high-dimensional asymptotic theory for boosting and minimum-ℓ1-norm interpolated classifiers
Boosting 与最小 ℓ1 范数插值分类器的精确高维渐近理论AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要研究高维分类算法的一般理论，未涉及所列经济金融预测或其他细分应用。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
Boosting 与最小 ℓ1 范数插值分类器的精确高维渐近理论
- 研究问题
- 在特征数与样本量共同增长的过参数化可分数据中，插值并最大化经验 ℓ1 间隔的 boosting 如何泛化及选择特征？
- 方法与思路
- 作者以非线性方程刻画最大间隔，结合高斯比较和一致偏差论证分析误差，并用 Lindeberg 原理建立间隔的普适性结果。
- 材料陈述的贡献
- 摘要称精确刻画测试误差、其与贝叶斯误差的关系及活跃特征比例，并扩展到有限秩尖峰协方差与部分 ℓq 几何。
- 阅读关注点
- 应核对数据生成模型、插值和零初始化条件、非线性方程的解，以及普适性是否仅针对缩放间隔而非全部分类表现。
- 阅读边界
- 来源为稿件版本未注明的 OpenAlex 索引摘要；结论依赖指定模型和高维极限，不能推广到任意数据、初始化或有限样本。
原文摘要
This paper establishes a precise high-dimensional asymptotic theory for boosting on separable data, taking statistical and computational perspectives. We consider a high-dimensional setting where the number of features (weak learners) p scales with the sample size n, in an overparametrized regime. Under a class of statistical models, we provide an exact analysis of the generalization error of boosting when the algorithm interpolates the training data and maximizes the empirical ℓ1-margin. Further, we explicitly pin down the relation between the boosting test error and the optimal Bayes error, as well as the proportion of active features at interpolation (with zero initialization). In turn, these precise characterizations answer certain questions raised in (Neural Comput. 11 (1999) 1493–1517; Ann. Statist. 26 (1998) 1651–1686) surrounding boosting, under assumed data generating processes. At the heart of our theory lies an in-depth study of the maximum-ℓ1-margin, which can be accurately described by a new system of nonlinear equations; to analyze this margin, we rely on Gaussian comparison techniques and develop a novel uniform deviation argument. Our statistical and computational arguments can handle (1) any finite-rank spiked covariance model for the feature distribution and (2) variants of boosting corresponding to general ℓq-geometry, q∈[1,2]. As a final component, via the Lindeberg principle, we establish a universality result showcasing that the scaled ℓ1-margin (asymptotically) remains the same, whether the covariates used for boosting arise from a nonlinear random feature model or an appropriately linearized model with matching moments.