Recovery Guarantees for Continual Learning of Dependent Tasks: Memory, Data-Dependent Regularization, and Data-Dependent Weights
依赖任务持续学习的恢复保证：记忆、数据依赖正则化与数据依赖权重AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要讨论持续学习的统计恢复保证与非线性回归任务依赖建模，属于机器学习理论，未涉及所给计量经济学领域细分（因果推断、面板、时间序列、资产定价等）的文本依据。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
依赖任务持续学习的恢复保证：记忆、数据依赖正则化与数据依赖权重
- 研究问题
- 摘要称，持续学习需在顺序学习多个任务时不遗忘旧任务，其理论核心难点是任务间数据分布变化；作者提出应通过刻画任务依赖来正面处理这一变化，并研究若干实用持续学习范式的估计误差界。
- 方法与思路
- 作者考虑非线性回归任务，假设当前任务数据是先前数据的非线性变换，以此显式建模任务依赖；在该模型与若干自然假设下，为经验回放配合数据无关正则化与数据无关任务损失权重、回放配合数据依赖权重、以及数据依赖正则化（如知识蒸馏）等范式推导统计恢复保证。
- 材料陈述的贡献
- 摘要称，作者给出若干实际使用的持续学习范式的估计误差上界，并声称在其所知范围内，这些界在既有工作给出空洞界的情形下仍具信息量。
- 阅读关注点
- 应核对任务依赖假设的具体形式与可验证性、各范式的识别条件与正则化设定、界所依赖的样本量与任务数尺度，以及“既有界空洞”这一比较的具体依据与适用范围。
- 阅读边界
- 仅凭摘要无法判断假设的现实性、界的紧致程度与证明细节，也无法核实与既有工作的比较；摘要未说明实验或数值验证。该文为 arXiv 预印本，未经同行评审验证，不能据此声称已被期刊接收。
原文摘要
Continual learning (CL) is concerned with learning multiple tasks sequentially without forgetting previously learned tasks. Despite substantial empirical advances over recent years, the theoretical development of CL remains in its infancy. At the heart of developing CL theory lies the challenge that the data distribution varies across tasks, and we argue that properly addressing this challenge requires understanding this variation--dependency among tasks. To explicitly model task dependency, we consider nonlinear regression tasks and propose the assumption that these tasks are dependent in such a way that the data of the current task is a nonlinear transformation of previous data. With this model and under natural assumptions, we prove statistical recovery guarantees (more specifically, bounds on estimation errors) for several CL paradigms in practical use, including experience replay with data-independent regularization and data-independent weights that balance the losses of tasks, replay with data-dependent weights, and continual learning with data-dependent regularization (e.g., knowledge distillation). To the best of our knowledge, our bounds are informative in cases where prior work gives vacuous bounds.