Comment on Scientific production in the era of large language models
对《大语言模型时代的科学产出》的评论AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要围绕处理时间的内生选择、事件研究伪效应及安慰剂检验展开，直接涉及因果推断设计的有效性。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
对《大语言模型时代的科学产出》的评论
- 研究问题
- 用首个摘要被检测器标记的月份确定大语言模型采用时间，是否会因当月投稿数量影响检测概率而产生虚假事件研究效应？
- 方法与思路
- 作者分析首次检测时间与产出的机械联系，在无因果效应的独立同分布生产率模拟中检验，并复现事件研究及三类安慰剂。
- 材料陈述的贡献
- 摘要称即使标记不包含真实采用信息，也能产生正向事后路径；随机论文标记、中性关键词及前 ChatGPT 窗口呈现类似模式。
- 阅读关注点
- 应核对首次检测与基准期选择如何共同产生偏差、安慰剂的构造及复现一致性，并评估这些证据对原研究结论的约束。
- 阅读边界
- 这是 arXiv 预印本，同行评审或接收未核实。摘要揭示的是采用时间测量带来的伪效应机制，不能据此断言真实采用没有作用。
原文摘要
Kusumegi et al. (2025) study whether researchers' preprint output rises after adopting large language models (LLMs), dating adoption as the first month in which at least one submitted abstract exceeds an LLM-detection threshold. We show that this treatment-timing rule is mechanically related to output. The probability that at least one paper is flagged in a month is increasing in the number of papers submitted in that month, so detected-adoption months are disproportionately high-output months. An event study centered on first detection can therefore display positive post-event dynamics even when the flagging rule contains no information about true LLM adoption, because the omitted pre-treatment period is selected from months with no prior detection. We demonstrate this in a simulation: with i.i.d. productivity and no causal effect, first-detection timing generates a spurious positive post-treatment path. We also replicate the stacked event study of Kusumegi et al. (2025) and show that three placebo exercises (random paper-level assignment, neutral keyword flags, and a pre-ChatGPT observation window) each produce a similarly positive post-treatment pattern.