On Well-posedness and Minimax Optimal Rates of Nonparametric Q-function Estimation in Off-policy Evaluation
离策略评估中非参数 Q 函数估计的适定性与极小极大最优速率AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要主要研究通用离策略评估与非参数估计理论，未明确对应所列经济学应用细分。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
离策略评估中非参数 Q 函数估计的适定性与极小极大最优速率
- 研究问题
- 连续状态和动作的无限期 Markov 决策过程中，Q 函数非参数估计是否适定，其函数及导数能够达到什么收敛速率？
- 方法与思路
- 作者将 Q 函数估计改写为特殊非参数 IV 问题，分析相对于数据分布的 L2 适定性，并提出筛两阶段最小二乘估计。
- 材料陈述的贡献
- 摘要称，在相应条件下建立函数及导数的两类范数极小极大下界，且筛估计达到最优速率，与经典非参数回归一致。
- 阅读关注点
- 应核对适定性条件、行为策略生成的数据分布、光滑性和筛空间要求，以及一致范数与 L2 范数结论的差别。
- 阅读边界
- 所据为 arXiv 预印本，同行评审与期刊接收未核实；摘要未展开温和条件，Q 函数速率不能直接等同于政策价值效率。
原文摘要
We study the off-policy evaluation (OPE) problem in an infinite-horizon Markov decision process with continuous states and actions. We recast the $Q$-function estimation into a special form of the nonparametric instrumental variables (NPIV) estimation problem. We first show that under one mild condition the NPIV formulation of $Q$-function estimation is well-posed in the sense of $L^2$-measure of ill-posedness with respect to the data generating distribution, bypassing a strong assumption on the discount factor $γ$ imposed in the recent literature for obtaining the $L^2$ convergence rates of various $Q$-function estimators. Thanks to this new well-posed property, we derive the first minimax lower bounds for the convergence rates of nonparametric estimation of $Q$-function and its derivatives in both sup-norm and $L^2$-norm, which are shown to be the same as those for the classical nonparametric regression (Stone, 1982). We then propose a sieve two-stage least squares estimator and establish its rate-optimality in both norms under some mild conditions. Our general results on the well-posedness and the minimax lower bounds are of independent interest to study not only other nonparametric estimators for $Q$-function but also efficient estimation on the value of any target policy in off-policy settings.