A Distribution Mapping Approach to Counterfactually Fair Reinforcement Learning
通过分布映射实现反事实公平的强化学习AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要以因果推理和反事实状态、奖励估计为基础构造公平决策方法。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
通过分布映射实现反事实公平的强化学习
- 研究问题
- 强化学习在优化长期总体收益时，如何避免对某些子群体造成反事实意义上的不公平，并控制公平约束带来的性能损失？
- 方法与思路
- 作者提出数据预处理算法，以分位数分布映射逐步估计反事实状态与奖励，再结合策略学习实现反事实公平。
- 材料陈述的贡献
- 摘要称，该方法将常见加性假设纳为特例，给出逐步反事实不公平程度和无限期次优差距的界，并开展模拟及健康数据应用。
- 阅读关注点
- 应核对反事实状态与奖励如何识别、分布映射需要哪些因果及正则条件，以及误差界如何随时间累积和影响策略表现。
- 阅读边界
- 这是 arXiv 预印本，同行评审及期刊接收未获核实；摘要未展开所谓温和条件，不能据此判断跨场景公平性或收益保障。
原文摘要
Reinforcement learning (RL) seeks to optimize sequential decisions to maximize population-level benefits over time. However, when deployed in high-stakes settings such as healthcare, RL decisions might systematically restrict some subpopulation's access to valuable services in a manner contrary to the values and goals of stakeholders. Counterfactual fairness (CF) offers a promising framework to address this problem based on causal reasoning. This paper develops a data preprocessing algorithm that, when used in tandem with policy learning, enables CF in RL. Our algorithm relies on a novel quantile distribution mapping method for sequentially estimating the counterfactual states and rewards in the data preprocessing step, subsuming common additivity assumptions used for counterfactual prediction as a special case. We theoretically prove that the per-step level of counterfactual unfairness and infinite-horizon suboptimality gap can be bounded under mild regularity conditions. We also empirically test our algorithm in numerical experiments as well as in application to a real-world interventional digital health dataset.