Distributed linear regression by averaging
通过参数平均实现分布式线性回归AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要研究一般分布式线性回归，其预测问题未指定宏观预测或金融收益预测。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
通过参数平均实现分布式线性回归
- 研究问题
- 数据分散于多台机器且通信受限时，局部回归参数平均相对全样本回归，会损失多少估计、预测和区间精度？
- 方法与思路
- 作者研究一步加权平均及以平均参数为中心的迭代局部岭回归，利用随机矩阵理论分析参数维数较高的情形。
- 材料陈述的贡献
- 摘要称，估计误差和置信区间长度受分布式处理影响较大，预测误差增幅较小，并发展确定性等价物的计算工具。
- 阅读关注点
- 应核对维数与样本量比例、机器分割和权重设定，以及一步与迭代方法的损失表达式和通信代价。
- 阅读边界
- 依据稿件版本未注明的 OpenAlex 索引摘要；损失大小和适用条件未提供，不能把相对表现推广至任意数据分割或模型。
原文摘要
Distributed statistical learning problems arise commonly when dealing with large datasets. In this setup, datasets are partitioned over machines, which compute locally, and communicate short messages. Communication is often the bottleneck. In this paper, we study one-step and iterative weighted parameter averaging in statistical linear models under data parallelism. We do linear regression on each machine, send the results to a central server and take a weighted average of the parameters. Optionally, we iterate, sending back the weighted average and doing local ridge regressions centered at it. How does this work compared to doing linear regression on the full data? Here, we study the performance loss in estimation and test error, and confidence interval length in high dimensions, where the number of parameters is comparable to the training data size. We find the performance loss in one-step weighted averaging, and also give results for iterative averaging. We also find that different problems are affected differently by the distributed framework. Estimation error and confidence interval length increases a lot, while prediction error increases much less. We rely on recent results from random matrix theory, where we develop a new calculus of deterministic equivalents as a tool of broader interest.