Causal Concept Graphs in LLM Latent Space for Stepwise Reasoning
用于逐步推理的大语言模型潜在空间因果概念图AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要研究语言模型内部概念与推理机制，尚不足以归入经济计量中的因果效应或网络干扰方向。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
用于逐步推理的大语言模型潜在空间因果概念图
- 研究问题
- 在语言模型的多步推理中，如何从定位单个概念进一步刻画概念之间的有向依赖，并评估图引导的内部干预是否产生下游影响？
- 方法与思路
- 作者结合任务条件稀疏自编码器与 DAGMA 风格的可微结构学习构造概念图，并以因果保真分数比较图引导和其他干预方式。
- 材料陈述的贡献
- 摘要报告在 GPT-2 Medium 和三个推理基准上，概念图方法获得更高的因果保真分数，且学习图具有稀疏性和跨种子稳定性。
- 阅读关注点
- 应核对潜在特征干预的具体定义、结构学习的因果解释依据、保真分数的构造，以及重复实验与统计比较的独立性。
- 阅读边界
- 这是 arXiv 预印本，同行评审与期刊接收未经核实；摘要所报分数不能单独确证图的因果正确性，也未说明跨模型推广能力。
原文摘要
Sparse autoencoders can localize where concepts live in language models, but not how they interact during multi-step reasoning. We propose Causal Concept Graphs (CCG): a directed acyclic graph over sparse, interpretable latent features, where edges capture learned causal dependencies between concepts. We combine task-conditioned sparse autoencoders for concept discovery with DAGMA-style differentiable structure learning for graph recovery and introduce the Causal Fidelity Score (CFS) to evaluate whether graph-guided interventions induce larger downstream effects than random ones. On ARC-Challenge, StrategyQA, and LogiQA with GPT-2 Medium, across five seeds ($n{=}15$ paired runs), CCG achieves $\CFS=5.654\pm0.625$, outperforming ROME-style tracing ($3.382\pm0.233$), SAE-only ranking ($2.479\pm0.196$), and a random baseline ($1.032\pm0.034$), with $p<0.0001$ after Bonferroni correction. Learned graphs are sparse (5-6\% edge density), domain-specific, and stable across seeds.