Towards a Sharp Analysis of Offline Policy Learning for $f$-Divergence-Regularized Contextual Bandits
面向 f-散度正则化上下文赌博机的离线策略学习精确分析AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要讨论离线强化学习与上下文赌博机的样本复杂度理论，属于机器学习理论，未涉及所提供计量经济学领域细分中的因果推断、面板、离散选择等方向。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
面向 f-散度正则化上下文赌博机的离线策略学习精确分析
- 研究问题
- 摘要称，研究离线 f-散度正则化上下文赌博机在何种具体数据覆盖条件下才能达到以正则化目标定义的紧样本复杂度，特别是反向 KL 散度所需的精确 concentrability 条件。
- 方法与思路
- 作者提出基于悲观主义的分析，针对反向 KL 在单策略 concentrability 下给出上界，并构造近似匹配的下界；对强凸 f 的 f-散度则给出无需悲观估计或单策略 concentrability 的分析，并用数值实验验证，还扩展到上下文对决赌博机。
- 材料陈述的贡献
- 摘要称首次在单策略 concentrability 下实现反向 KL 的 Õ(ε^{-1}) 样本复杂度，优于既有全策略 concentrability 下的 Õ(ε^{-1}) 与单策略下的 Õ(ε^{-2})；并证明单策略 concentrability 的乘性依赖对充分利用反向 KL 曲率是必要的。
- 阅读关注点
- 应核对样本复杂度的定义是否基于正则化目标、concentrability 条件的确切形式、上下界证明所依赖的假设，以及数值实验与对决赌博机扩展的具体设定。
- 阅读边界
- 这是 arXiv 预印本，未经同行评审或期刊接收；摘要未说明具体常数、证明细节、实验规模与数据生成方式，不能据此判断结论的普适性或实际表现。
原文摘要
Many offline reinforcement learning algorithms are underpinned by $f$-divergence regularization, but their sample complexity *defined with respect to regularized objectives* still lacks tight analyses, especially in terms of concrete data coverage conditions. In this paper, we study the exact concentrability requirements to achieve the $\tildeΘ(ε^{-1})$ sample complexity for offline $f$-divergence-regularized contextual bandits. For reverse Kullback-Leibler (KL) divergence, arguably the most commonly used one, we achieve an $\tilde{O}(ε^{-1})$ sample complexity under single-policy concentrability for the first time via a novel pessimism-based analysis, surpassing existing $\tilde{O}(ε^{-1})$ bound under all-policy concentrability and $\tilde{O}(ε^{-2})$ bound under single-policy concentrability. We also propose a near-matching lower bound, demonstrating that a multiplicative dependency on single-policy concentrability is necessary to maximally exploit the curvature property of reverse KL. Moreover, for $f$-divergences with strongly convex $f$, to which reverse KL *does not* belong, we show that the sharp sample complexity $\tildeΘ(ε^{-1})$ is achievable even without pessimistic estimation or single-policy concentrability. We further corroborate our theoretical insights with numerical experiments and extend our analysis to contextual dueling bandits. We believe these results take a significant step towards a comprehensive understanding of objectives with $f$-divergence regularization.