Semiparametric Preference Optimization: Your Language Model is Secretly a Single-Index Model
半参数偏好优化：语言模型中的单指标模型AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要明确将偏好对齐写成半参数单指标二元选择模型，因此选择离散选择；其主要目标是策略学习，未声称识别结构奖励参数。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
半参数偏好优化：语言模型中的单指标模型
- 研究问题
- 偏好与潜在奖励之间的链接函数未知时，如何避免链接误设导致的策略偏离，并在结构参数不可识别时直接学习目标策略？
- 方法与思路
- 作者将散度约束下的奖励最大化表示为半参数单指标二元选择模型，保留未知偏好链接，并绕过奖励参数估计直接学习策略。
- 材料陈述的贡献
- 摘要称，该方法允许不可识别和非参数指标，给出以一般函数复杂度衡量的、不依赖预设链接形式的收敛保证，并进行实证验证。
- 阅读关注点
- 应核对未知链接实际允许的函数范围、策略类可实现性条件，以及结构不可识别时最优策略的定义和误差保证如何成立。
- 阅读边界
- 这是 arXiv 预印本，同行评审与期刊接收均未核实；摘要未列出完整假设、收敛速率与实验结果，不能推断对任意偏好机制都有效。
原文摘要
Policy alignment to preference data typically assumes a known link function between observed preferences and latent rewards (e.g., Bradley-Terry model / logistic link). Misspecification of this link can bias inferred rewards and misalign learned policies. We study policy alignment under an unknown and unrestricted link function. We formulate an $f$-divergence-constrained reward maximization problem and show that realizability in a policy class induces a semiparametric single-index binary choice model, where a scalar policy-induced index captures all dependence on demonstrations and the remaining preference distribution is unrestricted. Rather than impose identifiability of structural parameters of such a model and estimate them, as in econometrics, we develop methods that directly learn policies, with the reward function implicit, analyzing error to the optimal policy and allowing for unidentifiable and nonparametric indices. We prove link-agnostic convergence guarantees in terms of generic function complexity measures and validate the methods and theory empirically. Code is available at https://github.com/causalml/spo/.