Semiparametric Off-Policy Inference for Optimal Policy Values under Possible Non-Uniqueness
最优策略可能不唯一时的半参数离策略价值推断AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要研究离策略评估、最优决策策略价值及相对随机行为策略的改善，直接对应因果政策评估与推断。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
最优策略可能不唯一时的半参数离策略价值推断
- 研究问题
- 用行为策略生成的数据推断估计所得最优策略的价值时，如何处理最优策略不唯一或近乎确定性导致的非正则性？
- 方法与思路
- 作者区分辅助转移采样与独立轨迹实验推导效率理论，提出基于鞅的 NSAVE 序贯推断，并讨论平滑近似与选择后推断。
- 材料陈述的贡献
- 摘要刻画不同最优策略一阶梯度引发的非正则性，给出唯一最优时的有效估计，并称 NSAVE 在非唯一情形兼顾稳定与有效推断。
- 阅读关注点
- 应核对两类实验的区别、策略对齐辅助估计的双重稳健条件，以及唯一性、初阶段速率和联合校准条件各自支持哪些结论。
- 阅读边界
- 这是 arXiv 预印本，同行评审及期刊接收未核实；摘要中的效率、平滑和统一覆盖结论依赖不同条件，不能合并视为无条件保证。
原文摘要
Off-policy evaluation (OPE) constructs confidence intervals for the value of a target policy using data generated under a different behavior policy. Most existing inference methods focus on fixed target policies and may fail when the target policy is estimated as optimal, particularly when the optimal policy is non-unique or nearly deterministic. We study inference for the value of optimal policies in Markov decision processes. In an auxiliary augmented transition-sampling experiment, we characterize the existence of the efficient influence function and show that non-regularity arises when competing optimal policies havedistinct first-order gradients. For the actual i.i.d.-trajectory experiment, we derive the semiparametric efficiency bound and a uniformly weighted estimator that attains it under a unique optimum, while the sequential NSAVE procedure trades efficiency for stability and validity under non-uniqueness. Motivated by this analysis, we propose a novel \textit{N}onparametric \textit{S}equenti\textit{A}l \textit{V}alue \textit{E}valuation (NSAVE) method, which yields martingale-based inference and retains a double-robustness property under policy-aligned nuisance estimation. We further develop a pointwise smoothing-based approximation under explicit first-stage rates, and a post-selection template with uniform coverage whenever its stated joint calibration condition is satisfied. Simulation studies support the theoretical results. An application to the Drink Less micro-randomized trial provides confidence intervals for state-adaptive notification policies and their improvement over the randomized behavior policy.