Optimal policy evaluation using kernel-based temporal difference methods
基于核时序差分方法的最优策略评估AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要研究 Markov 奖励过程的价值函数估计，工具变量解释不足以确认经济因果推断或结构估计方向。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
基于核时序差分方法的最优策略评估
- 研究问题
- 无限期折扣 Markov 奖励过程中，如何非参数估计价值函数，并刻画样本量、有效时域及问题特征对估计误差的影响？
- 方法与思路
- 作者分析核最小二乘时序差分估计，将其解释为非参数工具变量方法或 Bellman 投影，并用经验过程与集中不等式建立误差界。
- 材料陈述的贡献
- 摘要称给出依赖核谱与 Bellman 残差方差的非渐近上界及极小极大下界，并揭示有效时域下比既有最坏情形更丰富的尺度。
- 阅读关注点
- 应核对奖励函数与总体核解的条件、数据采样机制、上下界对应的过程子类，以及有效时域和误差尺度的准确记号。
- 阅读边界
- 仅据版本未注明的索引摘要；采样与正则条件未完整给出，有效时域的指数排版需查原 PDF，不能据此推广最优性或补写公式。
原文摘要
We study nonparametric methods for estimating the value function of an infinite-horizon discounted Markov reward process (MRP). We analyze the kernel-based least-squares temporal difference (LSTD) estimate, which can be understood either as a nonparametric instrumental variables method, or as a projected approximation to the Bellman fixed point equation. Our analysis imposes no assumptions on the transition operator of the Markov chain, but rather only conditions on the reward function and population-level kernel LSTD solutions. Using empirical process theory and concentration inequalities, we establish a nonasymptotic upper bound on the error with explicit dependence on the effective horizon H=(1−γ)−1 of the Markov reward process, the eigenvalues of the associated kernel operator, as well as the instance-dependent variance of the Bellman residual error. In addition, we prove minimax lower bounds over subclasses of MRPs, which shows that our guarantees are optimal in terms of the sample size n and the effective horizon H. Whereas existing worst-case theory predicts cubic scaling (H3) in the effective horizon, our theory reveals a much wider range of scalings, depending on the kernel, the stationary distribution, and the variance of the Bellman residual error. Notably, it is only parametric and near-parametric problems that can ever achieve the worst-case cubic scaling.