论文阅读《Asymmetric Tri-training for Unsupervised Domain Adaptation》

和Semi-Supervised有点异曲同工?

Posted by tianchen on October 19, 2019

Asymmetric Tri-training for Unsupervised Domain Adaptation

  • Univ. Of Tokyo
  • 解决的还是在Target Domain中标注数据过于Expensive
  • 之前的一些文章方向主要在于Match The Distribution
    • 还有一些文章尝试去学出共通的Feature Representation
    • 本文从Artificially labelling Distribution入手
  • 一些Transdutive的Method利用Target Sample与Source Sample的KNN
  • 有文章证明Training A Network with Pseudo Data等价于Entropy regularization
  • Self-Training的场景描述的是
    • 当本身的置信度基本正确
    • 通过Self-training可以Further Improve性能
    • Co-Training则是利用两个模型造成Pseudo-Data
    • The generalization ability of co-training is theoretically ensured
    • 比Co-Training再更进一步Tri-Training
  • Asymmetric Tri-Training
    • Unsupervised场景下使用2个Classifier去构建Pseudo Label
  • 号称比当时的SOTA能高10个点
    • 也是需要这样一个保险机制的
  • 文章中提到BN能够Whiten最后的OUTPUT Hidden layer
    • 通过在最后一个BN层,让各个域的Distribution更接近
  • 选取方式