Reinforcement Learning with Human Feedback: Learning Dynamic Choices via Pessimism
人类反馈强化学习：通过悲观策略学习动态选择AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要明确以动态离散选择建模，并从行为与价值函数恢复潜在奖励结构。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
人类反馈强化学习：通过悲观策略学习动态选择
- 研究问题
- 摘要研究如何从人类选择产生的离线轨迹恢复潜在奖励并学习近最优策略，同时应对反馈有限、有限理性和分布偏移。
- 方法与思路
- 作者基于动态离散选择模型，依次用极大似然估计行为和价值函数、以 Bellman 均方误差恢复奖励，再进行悲观价值迭代。
- 材料陈述的贡献
- 摘要称在数据覆盖最优策略的条件下，DCPPO 的次优性对分布偏移和维度的依赖接近经典悲观离线强化学习方法。
- 阅读关注点
- 应核对奖励恢复所需的归一化与识别条件、有限理性的设定、单策略覆盖的含义，以及三阶段误差如何进入策略保证。
- 阅读边界
- 这是 arXiv 预印本，不能据此认定已同行评审或期刊接收；摘要未列完整理论条件，“首次保证”的新颖性声明尚未核验。
原文摘要
In this paper, we study offline Reinforcement Learning with Human Feedback (RLHF) where we aim to learn the human's underlying reward and the MDP's optimal policy from a set of trajectories induced by human choices. RLHF is challenging for multiple reasons: large state space but limited human feedback, the bounded rationality of human decisions, and the off-policy distribution shift. In this paper, we focus on the Dynamic Discrete Choice (DDC) model for modeling and understanding human choices. DCC, rooted in econometrics and decision theory, is widely used to model a human decision-making process with forward-looking and bounded rationality. We propose a \underline{D}ynamic-\underline{C}hoice-\underline{P}essimistic-\underline{P}olicy-\underline{O}ptimization (DCPPO) method. \ The method involves a three-stage process: The first step is to estimate the human behavior policy and the state-action value function via maximum likelihood estimation (MLE); the second step recovers the human reward function via minimizing Bellman mean squared error using the learned value functions; the third step is to plug in the learned reward and invoke pessimistic value iteration for finding a near-optimal policy. With only single-policy coverage (i.e., optimal policy) of the dataset, we prove that the suboptimality of DCPPO almost matches the classical pessimistic offline RL algorithm in terms of suboptimality's dependency on distribution shift and dimension. To the best of our knowledge, this paper presents the first theoretical guarantees for off-policy offline RLHF with dynamic discrete choice model.