From Ground Truth to Measurement: A Statistical Framework for Human Labeling
从真实标签到测量：人类标注的统计框架AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要讨论的是人类标注的测量误差分解与统计框架，属于机器学习数据标注与测量方法议题，未涉及所给领域细分中的因果推断、面板、离散选择、时间序列、资产定价等方向，故不选择任何细分。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
从真实标签到测量：人类标注的统计框架
- 研究问题
- 摘要称，研究问题是：监督学习假定标注数据是对目标概念的准确测量，但人类标注会因条目歧义、理解差异和失误产生系统性变异，而机器学习研究常把所有分歧当作噪声，从而模糊了这些区别；本文要问的是如何把标注结果分解为可解释的变异来源。
- 方法与思路
- 作者提出把标注重新界定为测量过程，构建统计框架，将标注结果分解为条目难度、标注者偏差、情境噪声与关系一致性四类来源；该框架扩展经典测量误差模型，以容纳共享与个体化的真值观念，并给出判断某一任务更符合哪种机制的诊断方法。摘要称其在一个多标注者自然语言推理数据集上应用该模型。
- 材料陈述的贡献
- 摘要明确陈述的贡献是：提出一个可分解标注变异来源的统计框架，扩展经典测量误差模型以同时涵盖传统与人类标签变异两种误差解释，提供判断任务属于哪种机制的诊断，并在多标注者自然语言推理数据上报告四个理论成分均获得经验证据。
- 阅读关注点
- 阅读全文时应核对：四个成分的具体识别假设与可识别性条件；诊断方法如何判定任务属于共享真值还是个体化真值机制；所用自然语言推理数据集的标注者数量、条目规模与数据来源；模型拟合与比较的具体指标；以及结论在何种标注任务上可外推。
- 阅读边界
- 仅凭摘要无法判断模型设定是否可识别、诊断方法的统计性质、实证结果的稳健性与效应大小，也无法确认其相对既有标注者间一致性方法的实际优势；摘要未说明数据规模、估计细节与代码可得性。该文为 arXiv 预印本，未经同行评审验证，不能据此声称已被期刊接收。
原文摘要
Supervised machine learning assumes that labeled data provide accurate measurements of the concepts models are meant to learn. Yet in practice, human labeling introduces systematic variation arising from ambiguous items, divergent interpretations, and simple mistakes. Machine learning research commonly treats all disagreement as noise, which obscures these distinctions and limits our understanding of what models actually learn. This paper reframes annotation as a measurement process and introduces a statistical framework for decomposing labeling outcomes into interpretable sources of variation: instance difficulty, annotator bias, situational noise, and relational alignment. The framework extends classical measurement-error models to accommodate both shared and individualized notions of truth, reflecting traditional and human label variation interpretations of error, and provides a diagnostic for assessing which regime better characterizes a given task. Applying the proposed model to a multi-annotator natural language inference dataset, we find empirical evidence for all four theorized components and demonstrate the effectiveness of our approach. We conclude with implications for data-centric machine learning and outline how this approach can guide the development of a more systematic science of labeling.