Bayesian Inference and Decision Audits for Public Archives of Frontier AI Evaluations
前沿 AI 评测公共档案的贝叶斯推断与决策审计AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要聚焦 AI 评测档案、选择性观测与贝叶斯审计；虽涉及时间记录，但未充分对应所列宏观或金融计量细分。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
前沿 AI 评测公共档案的贝叶斯推断与决策审计
- 研究问题
- 当公共 AI 评测受到选择性报告、榜单修订和缺失影响时，如何重建历史证据并审查关于性能前沿及到顶时间的判断？
- 方法与思路
- 作者整合多类评测档案，比较不同观测机制下的合成后验诊断，并通过档案重建、裁定协议与固定审计门槛检验主张。
- 材料陈述的贡献
- 摘要称相同终端记录可兼容不同历史；候选前沿模型未通过多项检验，审计协议界定时间边界并反驳缺乏支持的主张。
- 阅读关注点
- 应核对档案版本和缺失机制、终端尾部模型与合成实验设定，以及时间边界的验证证据和审计门槛的预先确定方式。
- 阅读边界
- 这是 arXiv 预印本，同行评审及期刊接收未核实；摘要中的时间差来自构造示例，不能直接视为现实 AI 发展的预测结果。
原文摘要
Public AI evaluations are often read as terminal leaderboards, yet the underlying evidence is a selective time series shaped by reporting rules, benchmark revisions, and missingness. Repeated public archives for LiveBench and Open LLM Leaderboard v2 serve as the primary longitudinal record; LMArena provides a preference stress test; and GAIA and tau-bench contribute limited agentic pilots. Together, these archives instantiate a Bayesian inference problem: under a fixed reporting convention, one constructed terminal-only example over $1{,}000$ systems is compatible with two pre-terminal histories, yielding times of $23.03$ or $75.13$ to reach within $0.05$ of the ceiling under the same terminal-tail model. In synthetic posterior comparisons, action-facing diagnostics differ across observation regimes. The candidate selection-aware frontier model fails synthetic recovery, objective-archive prediction, preference transfer, and uncertainty calibration; correspondingly, fixed audit gates reject its stronger claims. An archive-and-adjudication protocol reconstructs public evaluation histories, isolates a verified timing boundary, and falsifies unsupported frontier claims.