Statistically Efficient Advantage Learning for Offline Reinforcement Learning in Infinite Horizons
无限期离线强化学习中的统计高效优势学习AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要直接研究通用离线强化学习的策略价值改进，移动健康仅为应用背景，未明确给出所列细分领域中的因果估计目标。
反馈分类问题正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
无限期离线强化学习中的统计高效优势学习
- 研究问题
- 在无法继续在线采集数据的无限期强化学习场景中，如何更充分利用既有离线数据，提高所学习策略的价值收敛速度？
- 方法与思路
- 作者提出优势学习框架，以已有强化学习算法计算的最优 Q 函数估计为输入，进一步输出经过改进的决策策略。
- 材料陈述的贡献
- 摘要称输出策略的价值收敛速度快于由初始 Q 估计直接导出的策略，并提供数值实验及 Python 实现支持方法使用。
- 阅读关注点
- 应核对优势函数的估计步骤、离线数据覆盖条件、初始 Q 估计要求，以及更快收敛所比较的价值误差和适用范围。
- 阅读边界
- 仅据 OpenAlex 索引摘要，稿件版本未注明；具体收敛率与保证条件未说明，不能推断刊本变化或任意离线数据上的改进。
原文摘要
We consider reinforcement learning (RL) methods in offline domains without additional online data collection, such as mobile health applications. Most of existing policy optimization algorithms in the computer science literature are developed in online settings where data are easy to collect or simulate. Their generalizations to mobile health applications with a pre-collected offline dataset remain are less explored. The aim of this article is to develop a novel advantage learning framework in order to efficiently use pre-collected data for policy optimization. The proposed method takes an optimal Q-estimator computed by any existing state-of-the-art RL algorithms as input, and outputs a new policy whose value is guaranteed to converge at a faster rate than the policy derived based on the initial Q-estimator. Extensive numerical experiments are conducted to back up our theoretical findings. A Python implementation of our proposed method is available at https://github.com/leyuanheart/SEAL. Supplementary materials for this article are available online.