Markovian Interference in Experiments
实验中的马尔可夫式干扰AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要直接研究单位之间的实验干扰，并将干预效应推断转化为政策评估。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
实验中的马尔可夫式干扰
- 研究问题
- 当库存等共同约束使实验单位相互影响时，如何把动态实验推断表述为政策评估，并改善现有估计量的偏差与方差权衡？
- 方法与思路
- 作者将马尔可夫式干扰形式化为政策评估问题，提出同策略 Differences-In-Q's（DQ）估计量，并在城市级网约车模拟器中评估。
- 材料陈述的贡献
- 摘要称 DQ 相较异策略评估可具有指数级更小方差，偏差为干预影响的二阶量，并提出三项强化学习理论技术。
- 阅读关注点
- 读全文时应核对动态系统与干扰的定义、DQ 构造、方差比较和二阶偏差的条件，以及模拟实验对应的政策目标量。
- 阅读边界
- 这是 arXiv 预印本，不能据此认定已同行评审或获期刊接收；摘要未给出理论条件，作者所称优势不能直接推广到所有实验。
原文摘要
We consider experiments in dynamical systems where interventions on some experimental units impact other units through a limiting constraint (such as a limited inventory). Despite outsize practical importance, the best estimators for this `Markovian' interference problem are largely heuristic in nature, and their bias is not well understood. We formalize the problem of inference in such experiments as one of policy evaluation. Off-policy estimators, while unbiased, apparently incur a large penalty in variance relative to state-of-the-art heuristics. We introduce an on-policy estimator: the Differences-In-Q's (DQ) estimator. We show that the DQ estimator can in general have exponentially smaller variance than off-policy evaluation. At the same time, its bias is second order in the impact of the intervention. This yields a striking bias-variance tradeoff so that the DQ estimator effectively dominates state-of-the-art alternatives. From a theoretical perspective, we introduce three separate novel techniques that are of independent interest in the theory of Reinforcement Learning (RL). Our empirical evaluation includes a set of experiments on a city-scale ride-hailing simulator.