On-Policy and Off-Policy Learning for Large Action Spaces
大动作空间中的同策略与异策略学习AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要主题为情境赌博机中的同策略与异策略策略学习，属于机器学习与序贯决策方向，未涉及所给微观计量、宏观计量或金融计量的具体细分领域，故不选择任何领域 key。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
大动作空间中的同策略与异策略学习
- 研究问题
- 摘要称，研究交互系统中智能体在观测上下文后从极大动作集中选择动作并只获得部分反馈时的策略学习问题，涵盖同策略的序贯交互与异策略的日志数据学习两种范式。
- 方法与思路
- 作者提出以情境赌博机为主要框架：同策略部分发展结构化贝叶斯方法，包括混合效应 Thompson 采样 meTS 与基于扩散式先验建模动作依赖的 dTS；异策略部分提出基于隐变量的结构化直接方法 sDM，并给出可高效优化的凹策略加权对数似然目标与基于指数平滑和 PAC-Bayes 界的可微悲观方法。
- 材料陈述的贡献
- 摘要称，所提方法通过跨动作共享信息，给出依赖“有效动作数”的遗憾保证；并指出在大动作空间中优化误差可能主导估计误差，进而提出可高效优化的目标以控制正则化重要性采样估计量的偏差—方差权衡。
- 阅读关注点
- 应核对各方法的识别与建模假设、遗憾保证的具体条件与形式、有效动作数的定义，以及优化误差主导估计误差这一论断的推导与适用范围；同时确认实验设置与对比基线。
- 阅读边界
- 仅依据 arXiv 预印本摘要，未读全文；摘要未说明具体数据、实验数值结果与完整证明，且该版本未经同行评审验证，不能据此声称已被期刊接收或结论已获证实。
原文摘要
This thesis studies policy learning in interactive systems where an agent observes a context, selects an action from a very large set, and receives partial feedback. The main framework is contextual bandits, with two paradigms: on-policy learning, where the agent interacts sequentially with the environment and minimizes regret, and off-policy learning, where it learns from logged data collected by a logging policy. In large action spaces, both settings face major challenges: inefficient exploration, sparse data coverage, high-variance importance weights, extrapolation bias, and difficult optimization landscapes. The first part develops structured Bayesian methods for on-policy learning. We introduce meTS, a mixed-effect extension of Thompson sampling, and dTS, which leverages diffusion-inspired priors to model dependencies between actions. These methods share information across actions and yield regret guarantees depending on an effective number of actions. The second part addresses off-policy learning. We propose sDM, a structured direct method based on latent variables, show that optimization error can dominate estimation error in large action spaces, and introduce concave, efficiently optimizable policy-weighted log-likelihood objectives. Finally, we develop differentiable pessimistic methods based on exponential smoothing and PAC-Bayesian bounds to control the bias-variance trade-off of regularized importance-sampling estimators.