Strategic Decision-Making in the Presence of Information Asymmetry: Provably Efficient RL with Algorithmic Instruments
信息不对称下的策略决策：利用算法工具变量的高效强化学习AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要明确处理未观测类型造成的混杂，并利用工具变量学习策略及研究推荐中的不依从。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
信息不对称下的策略决策：利用算法工具变量的高效强化学习
- 研究问题
- 历史互动受到代理人私有类型混杂时，委托人如何从离线数据学习面向目标人群的近似最优决策策略？
- 方法与思路
- 作者建立策略型 MDP，提出 PLAN 算法，将委托人行动作为工具变量，结合 IV 回归与悲观原则进行离线策略学习。
- 材料陈述的贡献
- 摘要称，在离线数据部分覆盖等条件下，PLAN 得到随轨迹数 K 按 1/√K 缩小的策略最优性差距，并讨论若干特例。
- 阅读关注点
- 应核对行动作为有效工具变量的模型依据、目标人群与数据的关系、部分覆盖条件，以及函数逼近对误差界的影响。
- 阅读边界
- 所据为 arXiv 预印本，同行评审与期刊接收未核实；摘要未列出完整识别条件，委托人行动并非在任意情境中都有效。
原文摘要
We study offline reinforcement learning under a novel model called strategic MDP, which characterizes the strategic interactions between a principal and a sequence of myopic agents with private types. Due to the bilevel structure and private types, strategic MDP involves information asymmetry between the principal and the agents. We focus on the offline RL problem, where the goal is to learn the optimal policy of the principal concerning a target population of agents based on a pre-collected dataset that consists of historical interactions. The unobserved private types confound such a dataset as they affect both the rewards and observations received by the principal. We propose a novel algorithm, Pessimistic policy Learning with Algorithmic iNstruments (PLAN), which leverages the ideas of instrumental variable regression and the pessimism principle to learn a near-optimal principal's policy in the context of general function approximation. Our algorithm is based on the critical observation that the principal's actions serve as valid instrumental variables. In particular, under a partial coverage assumption on the offline dataset, we prove that PLAN outputs a $1 / \sqrt{K}$-optimal policy with $K$ being the number of collected trajectories. We further apply our framework to some special cases of strategic MDP, including strategic regression, strategic bandit, and noncompliance in recommendation systems.