Some models are useful, but for how long?: A decision theoretic approach to choosing when to refit large-scale prediction models
模型能用多久？选择大型预测模型重拟合时机的决策理论方法AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要研究通用预测模型维护与推断决策，未提供足以归入宏观预测或其他指定细分领域的证据。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
模型能用多久？选择大型预测模型重拟合时机的决策理论方法
- 研究问题
- 当统计分析部分依赖人工智能生成的数据时，如何权衡模型重新校准与昂贵的重新拟合，并维持统计推断的有效性？
- 方法与思路
- 作者借用投资组合优化思路，将重新校准和重新拟合视为两种投入，权衡成本、抽样不确定性及模型漂移风险。
- 材料陈述的贡献
- 摘要提出兼顾模型维护成本与统计有效性的决策框架，并通过模拟、电力使用和流感趋势预测数据评估其表现。
- 阅读关注点
- 应核对决策目标与成本定义、模型漂移的度量、校准所依赖的辅助模型，以及选择维护策略后推断有效性的条件。
- 阅读边界
- 这是 arXiv 预印本，同行评审与期刊接收未核实；摘要未列明有效推断的条件，也未说明重新拟合消除漂移风险的适用范围。
原文摘要
Large-scale prediction models using tools from artificial intelligence (AI) or machine learning (ML) are increasingly common across a variety of industries and scientific domains. Despite their effectiveness, training AI and ML tools at scale can cost tens or hundreds of thousands of dollars (or more); and even after a model is trained, substantial resources must be invested to keep models up-to-date. This paper presents a decision-theoretic framework for deciding when to refit an AI/ML model when the goal is to perform unbiased statistical inference using partially AI/ML-generated data. Drawing on portfolio optimization theory, we treat the decision of {\it recalibrating} a model or statistical inference versus {\it refitting} the model as a choice between ``investing'' in one of two ``assets.'' One asset, recalibrating the model based on another model, is quick and relatively inexpensive but bears uncertainty from sampling and may not be robust to model drift. The other asset, {\it refitting} the model, is costly but removes the drift concern (though not statistical uncertainty from sampling). We present a framework for balancing these two potential investments while preserving statistical validity. We evaluate the framework using simulation and data on electricity usage and predicting flu trends.