An Empirical Risk Minimization Approach for Offline Inverse RL and Dynamic Discrete Choice Model
离线逆强化学习与动态离散选择模型的经验风险最小化方法AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要明确研究动态离散选择模型，并从行为数据恢复支配决策的奖励或价值函数。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
离线逆强化学习与动态离散选择模型的经验风险最小化方法
- 研究问题
- 如何从离线行为数据恢复动态离散选择模型中的奖励或最优价值函数，并避免线性奖励参数化及显式转移概率估计的限制？
- 方法与思路
- 作者提出经验风险最小化框架，结合梯度算法与神经网络等非参数方法，并利用贝尔曼残差的 PL 条件分析全局收敛。
- 材料陈述的贡献
- 摘要称该框架无需显式估计状态转移概率，可获得快速全局收敛保证；合成实验中表现优于所比较的方法。
- 阅读关注点
- 应核对奖励与价值函数的识别及归一化、PL 条件的适用对象、函数逼近后的收敛条件，以及实验比较的设置。
- 阅读边界
- 这是 arXiv 预印本，不能据此声称已同行评审或期刊接收。摘要未说明识别条件，也未证明高维无限状态应用的实际可行性。
原文摘要
We study the problem of estimating Dynamic Discrete Choice (DDC) models, also known as offline Maximum Entropy-Regularized Inverse Reinforcement Learning (offline MaxEnt-IRL) in machine learning. The objective is to recover reward or $Q^*$ functions that govern agent behavior from offline behavior data. In this paper, we propose a globally convergent gradient-based method for solving these problems without the restrictive assumption of linearly parameterized rewards. The novelty of our approach lies in introducing the Empirical Risk Minimization (ERM) based IRL/DDC framework, which circumvents the need for explicit state transition probability estimation in the Bellman equation. Furthermore, our method is compatible with non-parametric estimation techniques such as neural networks. Therefore, the proposed method has the potential to be scaled to high-dimensional, infinite state spaces. A key theoretical insight underlying our approach is that the Bellman residual satisfies the Polyak-Lojasiewicz (PL) condition -- a property that, while weaker than strong convexity, is sufficient to ensure fast global convergence guarantees. Through a series of synthetic experiments, we demonstrate that our approach consistently outperforms benchmark methods and state-of-the-art alternatives.