Toward theoretical understandings of robust Markov decision processes: Sample complexity and asymptotics
稳健马尔可夫决策过程的理论理解：样本复杂度与渐近性质AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要研究通用稳健决策过程的统计理论，未明确对应所列经济计量细分。
反馈分类问题正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
稳健马尔可夫决策过程的理论理解：样本复杂度与渐近性质
- 研究问题
- 从生成模型估计稳健马尔可夫决策过程时，不同不确定性集合与矩形性假设如何影响策略、价值函数的统计表现？
- 方法与思路
- 作者比较KL、L1与卡方不确定性集合，将分析从状态—行动矩形性扩展至状态矩形性，并研究非渐近与渐近性质。
- 材料陈述的贡献
- 摘要称其改进既有复杂度结果并扩展适用集合；状态矩形情形通常需要更多样本，且稳健价值函数具有渐近正态性。
- 阅读关注点
- 应核对生成模型的观测机制、两类矩形性的含义，以及复杂度对折扣率和集合半径的依赖与渐近正态条件。
- 阅读边界
- 所给为版本未注明的索引摘要；复杂度式的分数及渐近速率记号疑有提取缺失，需查原PDF，不能重构公式或推导具体速率。
原文摘要
In this paper, we study the nonasymptotic and asymptotic performances of the optimal robust policy and value function of robust Markov Decision Processes (MDPs), where the optimal robust policy and value function are estimated from a generative model. While prior work focusing on nonasymptotic performances of robust MDPs is restricted in the setting of the KL uncertainty set and (s,a)-rectangular assumption, we improve their results and also consider other uncertainty sets, including the L1 and χ2 balls. Our results show that when we assume (s,a)-rectangular on uncertainty sets, the sample complexity is about O˜(|S|2|A| ε2ρ2(1−γ)4). In addition, we extend our results from the (s,a)-rectangular assumption to the s-rectangular assumption. In this scenario, the sample complexity varies with the choice of uncertainty sets and is generally larger than the case under the (s,a)-rectangular assumption. Moreover, we also show that the optimal robust value function is asymptotically normal with a typical rate n under the (s,a) and s-rectangular assumptions from both theoretical and empirical perspectives.