Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results)
- Curious AI的一篇Work
- 现在已经是一个基操了
- 在这之前的SOTA主要是Temporal Ensemling
- 对每个training sample的label Prediction取一个Exponential Average
- 对差距特别大的做Penalty
- 但是由于Targets每个epoch只改变一次
- Mean-Teacher
- 平均化模型的Weights
- 对TCH和STU的prediction加上一个consistency loss
- 指引他们去perform consistently
- Student - Learn As Before
- Teacher - Generate Targets
- 可达到Training with fewer label(和Semi想通)
- 一个好的分类器应该对相近的点给出一致的结果
- 一种方式是对输入数据加入noise,尝试让网络学到更abstract的特征
- Dropout
- 基于Regularization的方法: 不是直接对数据点(0-d)求Classification Loss
- 而对around Data Point的一个Manifold
- 而做到将Decision Boundary推离Label Points
