Dropout Training as Adaptive Regularization
作为自适应正则化的 Dropout 训练AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要研究机器学习正则化与文档分类，没有所列经济学细分领域的直接证据。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
作为自适应正则化的 Dropout 训练
- 研究问题
- 在广义线性模型中，特征随机扰动形成的 Dropout 如何对应自适应正则化，并能否利用未标注数据改善正则化效果？
- 方法与思路
- 作者分析 Dropout 正则项与按 Fisher 信息缩放特征后的 L2 正则化的一阶等价，联系 AdaGrad，并构造半监督算法。
- 材料陈述的贡献
- 摘要称揭示 Dropout 的自适应正则化解释及与在线学习的联系；文档分类应用显示未标注数据方案改善训练表现。
- 阅读关注点
- 应核对一阶等价使用的近似和参数范围、Fisher 信息缩放的具体形式，以及半监督算法和文档分类比较的实验设置。
- 阅读边界
- 这是 arXiv 预印本，同行评审及接收状态未经核实；摘要未给出提升数值和完整比较条件，一阶等价也不表示所有模型中完全等价。
原文摘要
Dropout and other feature noising schemes control overfitting by artificially corrupting the training data. For generalized linear models, dropout performs a form of adaptive regularization. Using this viewpoint, we show that the dropout regularizer is first-order equivalent to an L2 regularizer applied after scaling the features by an estimate of the inverse diagonal Fisher information matrix. We also establish a connection to AdaGrad, an online learning algorithm, and find that a close relative of AdaGrad operates by repeatedly solving linear dropout-regularized problems. By casting dropout as regularization, we develop a natural semi-supervised algorithm that uses unlabeled data to create a better adaptive regularizer. We apply this idea to document classification tasks, and show that it consistently boosts the performance of dropout training, improving on state-of-the-art results on the IMDB reviews dataset.