Reinforcement learning for individual optimal policy from heterogeneous data
利用异质数据学习个体最优策略的强化学习AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要明确属于异质离线强化学习，但未说明因果识别、经济结构模型或其他所列细分领域的直接联系。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
利用异质数据学习个体最优策略的强化学习
- 研究问题
- 在异质且时间平稳的马尔可夫决策过程中，如何利用已有离线数据学习个体最优策略，避免总体统一策略造成的次优表现？
- 方法与思路
- 作者用个体潜变量描述异质性并估计个体 Q 函数，提出带惩罚和悲观机制的个性化策略学习算法 P4L。
- 材料陈述的贡献
- 摘要称 P4L 在行为策略的弱部分覆盖假设下具有平均遗憾的快速收敛率，并报告模拟与真实应用中的数值优势。
- 阅读关注点
- 应核对潜变量的识别与估计、弱部分覆盖的定义、平均遗憾的具体速率，以及模拟和真实应用中的比较基准。
- 阅读边界
- 仅据 OpenAlex 索引摘要，稿件版本未注明；未提供覆盖条件细节、遗憾速率或数值结果，所称优势仅是作者报告。
原文摘要
Offline reinforcement learning (RL) aims to find optimal policies in dynamic environments in order to maximize the expected total rewards by leveraging pre-collected data. Learning from heterogeneous data is one of the fundamental challenges in offline RL. Traditional methods focus on learning an optimal policy for all individuals with pre-collected data from a single episode or homogeneous batch episodes, and thus, may result in a suboptimal policy for a heterogeneous population. In this paper, we propose an individualized offline policy optimization framework for heterogeneous time-stationary Markov decision processes (MDPs). The proposed heterogeneous model with individual latent variables enables us to efficiently estimate the individual Q-functions, and our Penalized Pessimistic Personalized Policy Learning (P4L) algorithm guarantees a fast rate on the average regret under a weak partial coverage assumption on behavior policies. In addition, our simulation studies and a real data application demonstrate the superior numerical performance of the proposed method compared with existing methods.