Off-Policy Evaluation for Episodic Partially Observable Markov Decision Processes under Non-Parametric Models
非参数模型下分回合部分可观测马尔可夫决策过程的离策略评估AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要明确以近端因果推断、代理变量和非参数工具变量实现策略价值识别，因此对应因果推断，未明确涉及宏观时间序列问题。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
非参数模型下分回合部分可观测马尔可夫决策过程的离策略评估
- 研究问题
- 在连续状态且状态仅部分可观测的分回合决策过程中，如何利用既有策略数据识别并估计目标策略价值，控制有限样本误差？
- 方法与思路
- 作者借助时变代理变量建立序列 V 桥函数的非参数识别结果，再用类似拟合 Q 评估的递归算法逐步求解非参数工具变量问题。
- 材料陈述的贡献
- 摘要称，作者给出桥函数与策略价值的有限样本误差界，刻画样本量、决策时域长度及各步局部病态程度对误差的影响。
- 阅读关注点
- 应核对代理变量与桥函数的识别条件、目标策略的数据支持要求，以及序列工具变量问题的病态程度和误差累积机制。
- 阅读边界
- 这是 arXiv 预印本，同行评审或期刊接收未经核实；摘要未给出完整识别条件及误差界形式，其首次贡献表述也未经独立核验。
原文摘要
We study the problem of off-policy evaluation (OPE) for episodic Partially Observable Markov Decision Processes (POMDPs) with continuous states. Motivated by the recently proposed proximal causal inference framework, we develop a non-parametric identification result for estimating the policy value via a sequence of so-called V-bridge functions with the help of time-dependent proxy variables. We then develop a fitted-Q-evaluation-type algorithm to estimate V-bridge functions recursively, where a non-parametric instrumental variable (NPIV) problem is solved at each step. By analyzing this challenging sequential NPIV problem, we establish the finite-sample error bounds for estimating the V-bridge functions and accordingly that for evaluating the policy value, in terms of the sample size, length of horizon and so-called (local) measure of ill-posedness at each step. To the best of our knowledge, this is the first finite-sample error bound for OPE in POMDPs under non-parametric models.