Generalizing Goal-Conditioned Reinforcement Learning with Variational Causal Reasoning
通过变分因果推理提升目标条件强化学习的泛化能力AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要明确利用干预数据估计因果图，具有因果学习依据；其应用是强化学习，未提供归入经济结构估计或网络干扰的证据。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
通过变分因果推理提升目标条件强化学习的泛化能力
- 研究问题
- 目标条件强化学习如何发现并表示对象与事件间的因果关系，从而在不同目标之间学习更可泛化的模型和可解释策略？
- 方法与思路
- 作者将因果图作为潜变量构造变分似然目标，交替利用干预数据估计图的后验，并依图学习转移模型和策略。
- 材料陈述的贡献
- 摘要称框架具有理论性能保证，设计九项任务并与五个基准比较，同时用理论分析和消融实验解释所报告的性能改善。
- 阅读关注点
- 应核对干预数据如何产生、因果图的可识别性、性能保证的条件，以及任务设计、基准训练预算和跨目标泛化评价。
- 阅读边界
- 这是 arXiv 预印本，未核实同行评审或期刊接收。摘要未说明理论保证的条件与实验细节，自建任务结果不能确立普遍泛化能力。
原文摘要
As a pivotal component to attaining generalizable solutions in human intelligence, reasoning provides great potential for reinforcement learning (RL) agents' generalization towards varied goals by summarizing part-to-whole arguments and discovering cause-and-effect relations. However, how to discover and represent causalities remains a huge gap that hinders the development of causal RL. In this paper, we augment Goal-Conditioned RL (GCRL) with Causal Graph (CG), a structure built upon the relation between objects and events. We novelly formulate the GCRL problem into variational likelihood maximization with CG as latent variables. To optimize the derived objective, we propose a framework with theoretical performance guarantees that alternates between two steps: using interventional data to estimate the posterior of CG; using CG to learn generalizable models and interpretable policies. Due to the lack of public benchmarks that verify generalization capability under reasoning, we design nine tasks and then empirically show the effectiveness of the proposed method against five baselines on these tasks. Further theoretical analysis shows that our performance improvement is attributed to the virtuous cycle of causal discovery, transition modeling, and policy training, which aligns with the experimental evidence in extensive ablation studies.