Off-Policy Confidence Interval Estimation with Confounded Markov Decision Process
存在混杂的马尔可夫决策过程中的离线策略价值置信区间估计AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要直接研究未测量混杂下的策略价值识别，以及基于观察数据的估计和置信区间。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
存在混杂的马尔可夫决策过程中的离线策略价值置信区间估计
- 研究问题
- 如何利用预先收集的观察数据，在行动受到未测量变量混杂的无限期决策环境中，识别目标策略价值并构造置信区间？
- 方法与思路
- 作者利用介导行动对系统动态影响的辅助变量建立价值识别结果，据此构造高效且对潜在模型误设稳健的离线策略价值估计。
- 材料陈述的贡献
- 摘要称在所述辅助变量条件下策略价值可识别，并提供估计与不确定性量化方法，以理论、模拟及网约车公司数据作支持。
- 阅读关注点
- 应核对辅助变量满足的完整识别条件、无限期价值的定义、误设稳健性的具体范围，以及策略支持和区间覆盖所需条件。
- 阅读边界
- 仅据 OpenAlex 索引摘要，稿件版本未注明，不能推断刊本变化；摘要未列完整识别假设，不能认为任意中介变量都能消除混杂。
原文摘要
This article is concerned with constructing a confidence interval for a target policy’s value offline based on a pre-collected observational data in infinite horizon settings. Most of the existing works assume no unmeasured variables exist that confound the observed actions. This assumption, however, is likely to be violated in real applications such as healthcare and technological industries. In this article, we show that with some auxiliary variables that mediate the effect of actions on the system dynamics, the target policy’s value is identifiable in a confounded Markov decision process. Based on this result, we develop an efficient off-policy value estimator that is robust to potential model misspecification and provide rigorous uncertainty quantification. Our method is justified by theoretical results, simulated and real datasets obtained from ridesharing companies. A Python implementation of the proposed procedure is available at https://github.com/Mamba413/cope.