Learning Spectral Methods by Transformers
用 Transformer 学习谱方法AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要讨论通用谱算法、主成分分析与聚类，未明确涉及宏观或金融因子模型。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
用 Transformer 学习谱方法
- 研究问题
- 多层 Transformer 能否从足够多的预训练实例中学会无监督算法，并将学到的谱方法用于新实例的统计估计？
- 方法与思路
- 作者通过算法设计给出构造性证明，利用多层网络与迭代恢复算法的相似性，并以双类高斯混合分类作为理论例子。
- 材料陈述的贡献
- 摘要称预训练 Transformer 可以学习谱方法，并用合成与真实数据上的主成分分析和聚类任务展示其无监督学习能力。
- 阅读关注点
- 应核对预训练实例的分布及数量、网络深度与构造、谱算法的逼近保证，以及训练实例与新任务之间的关系。
- 阅读边界
- 所给版本为 arXiv 预印本，不能据此认定已同行评审或被期刊接收；摘要未给出样本要求和理论误差界的细节。
原文摘要
Transformers demonstrate significant advantages as the building block of modern LLMs. In this work, we study the capacities of Transformers in performing unsupervised learning. We show that multi-layered Transformers, given a sufficiently large set of pre-training instances, are able to learn the algorithms themselves and perform statistical estimation tasks given new instances. This learning paradigm is distinct from the in-context learning setup and is similar to the learning procedure of human brains where skills are learned through past experience. Theoretically, we prove that pre-trained Transformers can learn the spectral methods and use the classification of bi-class Gaussian mixture model as an example. Our proof is constructive using algorithmic design techniques. Our results are built upon the similarities of multi-layered Transformer architecture with the iterative recovery algorithms used in practice. Empirically, we verify the strong capacity of the multi-layered (pre-trained) Transformer on unsupervised learning through the lens of both the PCA and the Clustering tasks performed on the synthetic and real-world datasets.