Handling Missing Responses under Cluster Dependence with Applications to Language Model Evaluation
簇依赖下缺失响应的处理及其在语言模型评估中的应用AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要研究缺失评分与簇依赖下的一般统计推断，未明确涉及处理效应或所列其他细分方向。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
簇依赖下缺失响应的处理及其在语言模型评估中的应用
- 研究问题
- 在人类对生成式人工智能的评分存在缺失、同一用户的交互又相互依赖时，如何估计平均评分并合理量化不确定性？
- 方法与思路
- 作者分析缺失数据中的双重稳健估计量在簇依赖情形下的性质，并通过模拟及真实对话质量数据展示相关推断问题。
- 材料陈述的贡献
- 摘要称建立了簇依赖下的新理论性质，理论与实证结果均强调：处理响应缺失时，纳入簇内依赖对有效推断十分关键。
- 阅读关注点
- 应核对缺失机制、簇间与簇内依赖条件、簇数量及规模的渐近设定，以及双重稳健性和方差估计成立的具体要求。
- 阅读边界
- 这是 arXiv 预印本，同行评审及期刊接收均未核实；摘要未说明缺失机制和依赖条件，不能据此认定任意缺失情形下均无偏。
原文摘要
Human annotations play a crucial role in evaluating the performance of GenAI models. Two common challenges in practice, however, are missing annotations (the response variable of interest) and cluster dependence among human-AI interactions (e.g., questions asked by the same user may be highly correlated). Reliable inference must address both these issues to achieve unbiased estimation and appropriately quantify uncertainty when estimating average scores from human annotations. In this paper, we analyze the doubly robust estimator, a widely used method in missing data analysis and causal inference, applied to this setting and establish novel theoretical properties under cluster dependence. We further illustrate our findings through simulations and a real-world conversation quality dataset. Our theoretical and empirical results underscore the importance of incorporating cluster dependence in missing response problems to perform valid statistical inference.