OnlineLearning内容梳理

Posted by tianchen on January 28, 2020

Overview

  • Life Long & Online Learning & Incremental 核心在于可继续的学习后者加上了在线更新以及内存受限等限制
    • 继续学习 - 持续调整模型

Semi-Supervised Learning

  • 利用少量标注数据和大量未标注数据进行训练
    • 随着在线的未标注数据补充进行训练

资源

  • SemiSupervised paper list (Markdown)
  • Survey-Online Learning On Edge (PPT)

Domain Adaptation

  • 处理训练数据(源域 Source Domain)与测试数据(目标域 Target Domain)之间差异性大的问题
    • Unsupervised Domain Adaptation - 当目标域数据无label的情况

资源


Incremental(Continual) Learning

  • 持续性学习,完成一系列任务

资源

  • Survey Incremental Learning Markdown
  • Survey Incremental Learning PPT

  1. 他人总结的 Incremental Learning Reading List Awesome-Incremental-Learning
  2. 比IL更广泛的Continual Learning Benchmark Continual-Learning-Benchmark
    • 另外,这个组同时还写了 3 Scenario 和另外一篇IL的通用方法的论文,算是一个大组
  3. 数据集 CoRe50
    • 很多论文中对数据集的处理方案还是用的Goodfellow文中创造SubTask的方案
  4. 前NN时代的IL算法的源码和数据集整理 link
  5. 最近比较流行的集中IL算法的实现与比较 link
    • 包括了 EWC,LwF,ICaRL等主流方法
    • 提到了3 IL Sceneerio Paper,对现有的方法做了一个对比
  6. 另外一个系统性的IL算法的复现代码 code

Meta-Learning

  • 学习如何去学习
  • Few-shot Learning(从极少训练数据获得好的效果)是主要应用场景
  • (没有展开…)

资源

Fixed-Point Training

资源