Deep Transfer $Q$-Learning for Offline Non-Stationary Reinforcement Learning
离线非平稳强化学习中的深度迁移 Q 学习AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要核心是通用强化学习与跨群体迁移，非平稳性本身不足以归入宏观结构变化。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
离线非平稳强化学习中的深度迁移 Q 学习
- 研究问题
- 目标群体轨迹有限时，如何从其他群体迁移信息，在非平稳有限期马尔可夫决策过程中改善离线强化学习？
- 方法与思路
- 作者通过重加权目标化程序构造可迁移强化学习样本，结合神经网络与逆向递推，并区分转移密度能否迁移的情形。
- 材料陈述的贡献
- 摘要称朴素样本合并在该场景失效，所提深度迁移 Q 学习具有理论保证，并在合成和真实数据实验中展示优势。
- 阅读关注点
- 应核对奖励可迁移假设、转移密度处理、源与目标数据的覆盖关系，以及重加权误差如何影响价值学习与策略表现。
- 阅读边界
- 所给版本为 arXiv 预印本，不能据此认定已同行评审或被期刊接收；摘要未列完整理论条件及实验收益数值。
原文摘要
In dynamic decision-making scenarios across business and healthcare, leveraging sample trajectories from diverse populations can significantly enhance reinforcement learning (RL) performance for specific target populations, especially when sample sizes are limited. While existing transfer learning methods primarily focus on linear regression settings, they lack direct applicability to reinforcement learning algorithms. This paper pioneers the study of transfer learning for dynamic decision scenarios modeled by non-stationary finite-horizon Markov decision processes, utilizing neural networks as powerful function approximators and backward inductive learning. We demonstrate that naive sample pooling strategies, effective in regression settings, fail in Markov decision processes.To address this challenge, we introduce a novel ``re-weighted targeting procedure'' to construct ``transferable RL samples'' and propose ``transfer deep $Q^*$-learning'', enabling neural network approximation with theoretical guarantees. We assume that the reward functions are transferable and deal with both situations in which the transition densities are transferable or nontransferable. Our analytical techniques for transfer learning in neural network approximation and transition density transfers have broader implications, extending to supervised transfer learning with neural networks and domain shift scenarios. Empirical experiments on both synthetic and real datasets corroborate the advantages of our method, showcasing its potential for improving decision-making through strategically constructing transferable RL samples in non-stationary reinforcement learning contexts.