Settling the sample complexity of model-based offline reinforcement learning
基于模型的离线强化学习样本复杂度AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要研究通用离线强化学习理论，未明确涉及所列经济学或金融领域的专门问题。
反馈分类问题正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
基于模型的离线强化学习样本复杂度
- 研究问题
- 仅利用预先收集的数据时，离线强化学习能否在分布偏移和覆盖不足下达到最优样本复杂度，并避免达到最优性前的额外样本成本？
- 方法与思路
- 作者针对表格型马尔可夫决策过程，提出带Bernstein型惩罚的悲观价值迭代，利用留一解耦与自界定分析研究样本复杂度。
- 材料陈述的贡献
- 摘要称，在无限时域折扣与有限时域问题中，所提模型方法在整个精度范围达到极小极大最优样本复杂度，且无需预热成本或复杂方差缩减。
- 阅读关注点
- 应核对单策略截断集中度系数的定义、数据覆盖与采样条件，以及有限和无限时域复杂度结论的精度范围和对数项。
- 阅读边界
- OpenAlex索引摘要未注明稿件版本；样本复杂度公式的分式及上下标格式不清，需查原PDF，不能据此重构具体复杂度表达式。
原文摘要
This paper is concerned with offline reinforcement learning (RL), which learns using precollected data without further exploration. Effective offline RL would be able to accommodate distribution shift and limited data coverage. However, prior results either suffer from suboptimal sample complexities or incur high burn-in cost to reach sample optimality, thus posing an impediment to efficient offline RL in sample-starved applications. We demonstrate that the model-based (or “plug-in”) approach achieves minimax-optimal sample complexity without any burn-in cost for tabular Markov decision processes (MDPs). Concretely, consider a γ-discounted infinite-horizon (resp., finite-horizon) MDP with S states and effective horizon 11−γ (resp., horizon H), and suppose the distribution shift of data is reflected by some single-policy clipped concentrability coefficient Cclipped⋆. We prove that model-based offline RL yields ε-accuracy with a sample complexity of SCclipped⋆ (1−γ)3ε2(infinite-horizon MDPs),H4SCclipped⋆ ε2(finite-horizon MDPs), up to log factor, which is minimax optimal for the entire ε-range. The proposed algorithms are “pessimistic” variants of value iteration with Bernstein-style penalties, and do not require sophisticated variance reduction. Our analysis framework is established upon delicate leave-one-out decoupling arguments in conjunction with careful self-bounding techniques tailored to MDPs.