Regularizing Attention Scores with Bootstrapping
用自助法正则化注意力分数AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要讨论的是视觉Transformer注意力分数的自助法正则化与可解释性，属于机器学习与统计方法应用，未涉及所给计量经济学领域细分中的因果推断、面板、时间序列、金融等主题，故不选择任何细分。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
用自助法正则化注意力分数
- 研究问题
- 摘要称，视觉Transformer的注意力分数几乎总为非零，导致注意力图含噪且弥散、可解释性受限；作者提出能否量化注意力分数的不确定性并得到正则化后的注意力分数。
- 方法与思路
- 作者提出把ViT的注意力分数置于统计框架中，视非零但不显著的分数为独立噪声所致；借助统计学习技术，对输入特征重采样以生成注意力分数的基线分布，并用该自助分布估计注意力分数的显著性与后验概率。
- 材料陈述的贡献
- 摘要称提出“注意力正则化”方法，在自然图像与医学图像上直接去除由噪声产生的虚假注意力，显著提升收缩性与稀疏性，并用模拟与真实数据做定量评估，强调自助法可作为使用注意力分数作解释时的实用正则化工具。
- 阅读关注点
- 应核对噪声与显著性的具体统计假设、重采样方案与基线分布构造、显著性和后验概率的估计方式、收缩与稀疏性的度量定义，以及模拟设定和真实数据集的选取与对照是否支持摘要中的结论。
- 阅读边界
- 仅凭摘要无法判断识别假设是否成立、理论保证与有限样本性质、评估指标与基线比较的细节，也无法核实代码与结果的可复现性；摘要未说明具体数据集、样本量与数值结果。
原文摘要
Vision transformers (ViT) rely on attention mechanism to weigh input features, and therefore attention scores have naturally been considered as explanations for its decision-making process. However, attention scores are almost always non-zero, resulting in noisy and diffused attention maps and limiting interpretability. Can we quantify uncertainty measures of attention scores and obtain regularized attention scores? To this end, we consider attention scores of ViT in a statistical framework where independent noise would lead to insignificant yet non-zero scores. Leveraging statistical learning techniques, we introduce the bootstrapping for attention scores which generates a baseline distribution of attention scores by resampling input features. Such a bootstrap distribution is then used to estimate significances and posterior probabilities of attention scores. In natural and medical images, the proposed \emph{Attention Regularization} approach demonstrates a straightforward removal of spurious attention arising from noise, drastically improving shrinkage and sparsity. Quantitative evaluations are conducted using both simulation and real-world datasets. Our study highlights bootstrapping as a practical regularization tool when using attention scores as explanations for ViT. Code available: https://github.com/ncchung/AttentionRegularization