From Model Choice to Model Belief: Establishing a New Measure for LLM-Based Research
从模型选择到模型信念：建立大语言模型研究的新度量AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要围绕选择备选项的概率分布展开，并以消费者对价格的选择反应和需求估计展示度量，直接涉及离散选择。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
从模型选择到模型信念：建立大语言模型研究的新度量
- 研究问题
- 利用大语言模型模拟选择行为时，能否从单次生成的词元概率提取选择分布，减少把每次生成仅作为一个选择观测造成的信息损失？
- 方法与思路
- 作者将词元层面的概率转化为选择备选项上的模型信念，并分析其与多次模型选择均值及相关光滑函数的渐近关系。
- 材料陈述的贡献
- 摘要称，模型信念具有更低方差与更快收敛；需求估计示例中，它更好预测模型选择，并将达到相应精度的计算需求减少约二十倍。
- 阅读关注点
- 应核对词元概率如何映射到完整备选项、渐近等价与收敛速度的定义，以及需求实验中的基准究竟是模型选择还是真实消费者行为。
- 阅读边界
- 这是 arXiv 预印本，同行评审或接收状态未核实；摘要的计算节省属于特定应用，模拟模型选择的准确性不能证明真实行为的外部效度。
原文摘要
Large language models (LLMs) are increasingly used to simulate human behavior, but common practices to use LLM-generated data are inefficient. Treating an LLM's output ("model choice") as a single data point underutilizes the information inherent to the probabilistic nature of LLMs. This paper introduces and formalizes "model belief," a measure derived from an LLM's token-level probabilities that captures the model's belief distribution over choice alternatives in a single generation run. The authors prove that model belief is asymptotically equivalent to the mean of model choices (a non-trivial property) but forms a more statistically efficient estimator, with lower variance and a faster convergence rate. Analogous properties are shown to hold for smooth functions of model belief and model choice often used in downstream applications. The authors demonstrate the performance of model belief through a demand estimation study, where an LLM simulates consumer responses to different prices. In practical settings with limited numbers of runs, model belief explains and predicts ground-truth model choice better than model choice itself, and reduces the computation needed to reach sufficiently accurate estimates by roughly a factor of 20. The findings support using model belief as the default measure to extract more information from LLM-generated data.