Efficient evaluation of natural stochastic policies in off-line reinforcement learning
离线强化学习中自然随机策略的有效评估AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要研究处理策略与离线政策评估，直接关联因果政策评价。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
离线强化学习中自然随机策略的有效评估
- 研究问题
- 当目标策略由未知行为策略的偏离定义时，如何利用离线数据评估其表现，并刻画策略本身未知带来的估计误差？
- 方法与思路
- 作者针对倾斜策略和修正处理策略推导效率界，再构造非参数估计量，以处理目标策略依赖未知行为策略的情形。
- 材料陈述的贡献
- 摘要称，目标策略未知会使效率界增大；所提估计量在相应条件下达到效率界，并具有部分双重稳健性质。
- 阅读关注点
- 应核对两类策略的具体定义、效率界对应的数据结构、达到效率界所需条件，以及部分双重稳健究竟覆盖哪些误设。
- 阅读边界
- 仅据所给 Crossref 摘要，无法判断弱重叠缓解的适用范围、具体收敛条件或有限样本表现，也不推断其他版本变化。
原文摘要
Summary We study the efficient off-policy evaluation of natural stochastic policies, which are defined in terms of deviations from the unknown behaviour policy. This is a departure from the literature on off-policy evaluation that largely considers the evaluation of explicitly specified policies. Crucially, off-line reinforcement learning with natural stochastic policies can help alleviate issues of weak overlap, lead to policies that build upon current practice and improve policies’ implementability in practice. Compared with the classic case of a prespecified evaluation policy, when evaluating natural stochastic policies, the efficiency bound, which measures the best-achievable estimation error, is inflated since the evaluation policy itself is unknown. In this paper we derive the efficiency bounds of two major types of natural stochastic policies: tilting policies and modified treatment policies. We then propose efficient nonparametric estimators that attain the efficiency bounds under lax conditions and enjoy a partial double robustness property.