Towards Causal Foundation Model: on Duality between Causal Inference and Attention
迈向因果基础模型：因果推断与注意力机制的对偶关系AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要明确以处理效应估计、协变量平衡和跨任务因果推断为研究对象。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
迈向因果基础模型：因果推断与注意力机制的对偶关系
- 研究问题
- 能否利用多个无标签数据集训练模型，使其在未见过的新数据任务上直接估计处理效应，并改善因果推断中的跨任务迁移？
- 方法与思路
- 作者提出 CInA，以最优协变量平衡与自注意力之间的原始—对偶联系为基础，通过自监督学习训练 transformer 型架构。
- 材料陈述的贡献
- 摘要称，该方法支持新任务上的零样本因果推断，在分布外和真实数据实验中达到或超过部分逐数据集方法的表现。
- 阅读关注点
- 应核对协变量平衡与注意力对偶成立的条件、处理效应识别前提，以及训练任务构造、分布外定义与比较方法的公平性。
- 阅读边界
- 这是 arXiv 预印本，同行评审与接收未核实。摘要未说明识别假设、误差指标及具体结果，不能据此认定其普遍优于传统方法。
原文摘要
Foundation models have brought changes to the landscape of machine learning, demonstrating sparks of human-level intelligence across a diverse array of tasks. However, a gap persists in complex tasks such as causal inference, primarily due to challenges associated with intricate reasoning steps and high numerical precision requirements. In this work, we take a first step towards building causally-aware foundation models for treatment effect estimations. We propose a novel, theoretically justified method called Causal Inference with Attention (CInA), which utilizes multiple unlabeled datasets to perform self-supervised causal learning, and subsequently enables zero-shot causal inference on unseen tasks with new data. This is based on our theoretical results that demonstrate the primal-dual connection between optimal covariate balancing and self-attention, facilitating zero-shot causal inference through the final layer of a trained transformer-type architecture. We demonstrate empirically that CInA effectively generalizes to out-of-distribution datasets and various real-world datasets, matching or even surpassing traditional per-dataset methodologies. These results provide compelling evidence that our method has the potential to serve as a stepping stone for the development of causal foundation models.