Kullback–Leibler upper confidence bounds for optimal sequential allocation
用于最优序贯分配的 Kullback–Leibler 上置信界AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：文本研究通用随机多臂老虎机与序贯分配，未明确因果政策学习或金融收益预测场景。
反馈分类问题正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
用于最优序贯分配的 Kullback–Leibler 上置信界
- 研究问题
- 在随机多臂老虎机问题中，如何构造基于收益分布信息的序贯分配策略，使累计遗憾得到有限时间控制并达到渐近下界？
- 方法与思路
- 作者以 KL 散度构造收益上置信界指标，分别研究适用于单参数指数族的 kl-UCB，以及适用于有界有限支持分布的经验 KL-UCB。
- 材料陈述的贡献
- 摘要称，统一的有限时间遗憾分析渐近匹配相应下界，并考察一般有界收益下的表现，报告相较既有方法的改善。
- 阅读关注点
- 应核对两类算法的置信集合、探索参数和分布条件，以及有限时间遗憾界与渐近最优之间的关系和比较实验的范围。
- 阅读边界
- 材料为版本未注明的 OpenAlex 索引摘要。具体遗憾界、比较基准和改善幅度未提供，不能将摘要所述优势推广至所有收益分布。
原文摘要
We consider optimal sequential allocation in the context of the so-called stochastic multi-armed bandit model. We describe a generic index policy, in the sense of Gittins [J. R. Stat. Soc. Ser. B Stat. Methodol. 41 (1979) 148–177], based on upper confidence bounds of the arm payoffs computed using the Kullback–Leibler divergence. We consider two classes of distributions for which instances of this general idea are analyzed: the kl-UCB algorithm is designed for one-parameter exponential families and the empirical KL-UCB algorithm for bounded and finitely supported distributions. Our main contribution is a unified finite-time analysis of the regret of these algorithms that asymptotically matches the lower bounds of Lai and Robbins [Adv. in Appl. Math. 6 (1985) 4–22] and Burnetas and Katehakis [Adv. in Appl. Math. 17 (1996) 122–142], respectively. We also investigate the behavior of these algorithms when used with general bounded rewards, showing in particular that they provide significant improvements over the state-of-the-art.