Vector-Valued Distributional Reinforcement Learning Policy Evaluation: A Hilbert Space Embedding Approach
向量值分布强化学习的策略评估：希尔伯特空间嵌入方法AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：这里的分布与回报属于一般强化学习策略评估，摘要未直接研究经济分布效应或金融收益预测。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
向量值分布强化学习的策略评估：希尔伯特空间嵌入方法
- 研究问题
- 如何从离线轨迹估计连续状态与动作条件下的多元累计奖励分布，并将嵌入误差与分布评估误差联系起来？
- 方法与思路
- 作者提出核嵌入分布强化学习，用最大均值差异贝尔曼准则估计有限字典系数，并研究 Matérn 嵌入与相关函数类。
- 材料陈述的贡献
- 摘要称，特定分布类下可识别唯一分布贝尔曼不动点并控制分布误差；直接观测响应的嵌入估计另有有限样本界。
- 阅读关注点
- 核对分布与函数类限制、离线行为策略的覆盖条件，以及直接观测响应的误差界如何关联完整策略评估问题。
- 阅读边界
- 仅据 arXiv 第3版预印本摘要，不能确认同行评审或期刊接收。完整策略评估的有限样本保证未说明，不能将直接响应估计的误差界自动推广。
原文摘要
We propose Kernel Embedding Distributional Reinforcement Learning (KE-DRL) an offline method to estimate kernel mean embeddings of conditional multivariate return distributions from observed offline trajectories with continuous state-action inputs and vector-valued rewards. KE-DRL approximates the conditional embedding and estimates its a finite-dictionary representation coefficients through a maximum mean discrepancy Bellman criterion. For a regular class of return distributions, we show that a Matérn embedding and a Bellman-invariant Sobolev-moment class identifies the unique distributional Bellman fixed point and and derive a Hölder-type bound that controls Wasserstein error by the population embedding Bellman residual. For directly observed responses, we provide finite-sample and uniform error bounds for a regularized conditional mean embedding estimator. Simulation experiments evaluate pointwise embedding recovery against Monte Carlo benchmarks across multiple behavior-target policy pairs. An application to Expedia hotel-search data illustrates conditional multivariate return evaluation under two policies.