A Lecture Note on Offline RL and IRL, Part II: Foundations of Inverse Reinforcement Learning and Dynamic Discrete Choice Models
离线强化学习与逆强化学习讲义（二）：逆强化学习与动态离散选择基础AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：题名和摘要明确讨论动态离散选择模型、奖励识别及结构计量中的估计方法。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
离线强化学习与逆强化学习讲义（二）：逆强化学习与动态离散选择基础
- 研究问题
- 给定专家生成的离线行为数据，能够恢复哪些奖励信息？动态离散选择与熵正则逆强化学习的模型和识别关系是什么？
- 方法与思路
- 讲义从两类模型的等价性出发，梳理经典识别结果、嵌套不动点、条件选择概率及时间差分方法，再推导现代逆强化学习目标。
- 材料陈述的贡献
- 摘要称系统连接结构计量与机器学习两条文献脉络，说明各方法实际识别的对象及计算限制，并介绍基于经验风险最小化的估计框架。
- 阅读关注点
- 应核对模型等价所需的设定、奖励规范化与识别边界，并区分各计算方法的目标函数、转移核要求和近似带来的偏差。
- 阅读边界
- 这是 arXiv 预印本讲义，同行评审及期刊接收未核实；摘要以梳理已有理论为主，未说明哪些结果属于作者的新贡献。
原文摘要
In the forward reinforcement-learning problem, the reward is fixed and known; the learner is asked to find a good policy or value function. Here we turn the question around. Given offline data generated by an expert, can we recover the reward the expert was optimizing? This is the inverse reinforcement learning problem, and remarkably, two communities, structural econometricians studying dynamic discrete choice (DDC) and machine learners studying entropy-regularized IRL, have been working on exactly the same probabilistic model under different names. We begin by proving their equivalence. We then develop the classical identification result of Magnac and Thesmar and the classical computational paradigms that grew out of it: Rust's nested fixed-point algorithm, the conditional-choice-probability approach of Hotz and Miller, and the two temporal-difference approaches of Adusumilli and Eckardt: linear semi-gradient TD and approximate value iteration. Each route has its limits: dimensionality, transition-kernel estimation, the deadly triad, or projected fixed-point bias. We then walk through the modern ML/IRL strand: adversarial IRL, occupancy matching, IQ-Learn, and offline ML-IRL, deriving each method's actual objective and stating precisely what it does and does not identify. We close with the empirical-risk-minimization framework of Kang et al., which yields a gradient-based estimator for offline IRL/DDC.