Infinite-dimensional gradient-based descent for alpha-divergence minimisation
用于α散度最小化的无限维梯度下降AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要研究通用贝叶斯变分优化与混合权重算法，未提供对应所列经济计量细分的直接证据。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
用于α散度最小化的无限维梯度下降
- 研究问题
- 如何在贝叶斯框架中直接对测度进行优化，以最小化α散度，并扩展常见变分近似对混合模型的处理能力？
- 方法与思路
- 作者提出作用于测度的（α,Γ）下降，在变分参数上加入测度形式的先验，并构造可优化混合权重的随机版本。
- 材料陈述的贡献
- 摘要称该算法在一类Γ函数下逐步降低α散度并具有收敛结果，涵盖熵镜像下降，另提出Power Descent算法。
- 阅读关注点
- 应核对Γ函数的具体限制、收敛的含义与条件，以及随机更新和混合权重优化如何实施，高维比较采用哪些基准。
- 阅读边界
- 依据稿件版本未注明的OpenAlex摘要；不能核验收敛条件或高维优势的范围，也不能推断刊本变化。
原文摘要
This paper introduces the (α,Γ)-descent, an iterative algorithm which operates on measures and performs α-divergence minimisation in a Bayesian framework. This gradient-based procedure extends the commonly-used variational approximation by adding a prior on the variational parameters in the form of a measure. We prove that for a rich family of functions Γ, this algorithm leads at each step to a systematic decrease in the α-divergence and derive convergence results. Our framework recovers the Entropic Mirror Descent algorithm and provides an alternative algorithm that we call the Power Descent. Moreover, in its stochastic formulation, the (α,Γ)-descent allows to optimise the mixture weights of any given mixture model without any information on the underlying distribution of the variational parameters. This renders our method compatible with many choices of parameters updates and applicable to a wide range of Machine Learning tasks. We demonstrate empirically on both toy and real-world examples the benefit of using the Power Descent and going beyond the Entropic Mirror Descent framework, which fails as the dimension grows.