Testing stationarity and change point detection in reinforcement learning
强化学习中的平稳性检验与变点检测AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要直接研究随时间变化的最优 Q 函数及变点检测，对应结构变化方向，应用本身并非宏观经济。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
强化学习中的平稳性检验与变点检测
- 研究问题
- 强化学习环境可能随时间变化，如何仅用预先收集的历史数据检验最优 Q 函数的平稳性，并定位变化时点？
- 方法与思路
- 作者提出最优 Q 函数的无模型平稳性检验，再构造变点检测方法，与适用于平稳环境的强化学习算法结合。
- 材料陈述的贡献
- 摘要称，该方法无需额外在线收集数据，可服务非平稳环境中的在线策略优化，并提供理论、模拟和健康研究示例。
- 阅读关注点
- 应核对检验最优 Q 函数与检验转移或奖励稳定性的关系，以及历史数据条件、变点定位和在线策略更新的保证。
- 阅读边界
- 来源为版本未注明的 OpenAlex 索引摘要；理论条件、检验功效和定位误差未说明，代码链接仅为摘要陈述，未核验。
原文摘要
We consider reinforcement learning (RL) in possibly nonstationary environments. Many existing RL algorithms in the literature rely on the stationarity assumption that requires the state transition and reward functions to be constant over time. However, this assumption is restrictive in practice and is likely to be violated in a number of applications, including traffic signal control, robotics and mobile health. In this paper, we develop a model-free test to assess the stationarity of the optimal Q-function based on pre-collected historical data, without additional online data collection. Based on the proposed test, we further develop a change point detection method that can be naturally coupled with existing state-of-the-art RL methods designed in stationary environments for online policy optimization in nonstationary environments. The usefulness of our method is illustrated by theoretical results, simulation studies, and a real data example from the 2018 Intern Health Study. A Python implementation of the proposed procedure is publicly available at https://github.com/limengbinggz/CUSUM-RL.