《MixMatch-A Holistic Approach to Semi-Supervised Learning》
- 1905
- Google Research
- Ian Goodfellow
- 主要Contribution在label Data和unlabel data之间的mix
- Intro部分提到了Semi处理的是获取Label昂贵的情况
- 比如说在医疗图片处理
- 又比如说Label代表了privacy(感觉有一点牵强))
- 将之前在loss上加一个term的方法概括为了
- Entropy Minimization - 鼓励模型去对unlabel data给出Entropy小的confs(熵小就对应着确定)
- the classifier’s decision boundary should not pass through high-density regions of the marginal data distribution.A common underlying assumption in many semi-supervised learning methods is that the classifier’s decision boundary should not pass through high-density regions of marginal data distribution
- Pseudo Label进行了显式的Entropy Minimize,把高conf强制转化为one-hot的label
- 也就是说这里面对的是Hard Label
- Consistency Regularization - 鼓励模型在扰动下获得一样好的性能
- Generic Regularization - 保证模型泛化而不是overfit
- 就是传统的regularization
- 是为了防止出现Overfit,更难去Remember起之前的sample
- (本文号称以上三种都能unify到一个loss内部)
- Entropy Minimization - 鼓励模型去对unlabel data给出Entropy小的confs(熵小就对应着确定)
- 除了这些方式之外,还有一些Semi的常用方式
- 基于图的
- 基于Transductive的
- 基于generative modelling的
- 喷了一下mean-taecher的方法使用了Domain-Variant的数据增强方式
MixMatch
- 需要做K次aug
- 对K个aug的辨识结果先平均再做一个Temperature Sharpen
- 实际上是在label更少更极端的情况下
