Return of frustratingly easy domain adaptation.
- AAAI 2016
- CORAL(Correlation Alignment)
- 将Source和Target Domain的Feature的Distribution Align起来
- 这里的Feature可以是NN给的
- 通过将二阶统计量对齐（指Covariance）
- A是对Source Domain做的一个Linear Transformation
- 从数学上看它是处在一个低维度的Manifold上，所以其实矩阵C的Rank不会特别高
- 然后从数学上证明了它是有解析解的
- ~~对整个数据域求协方差矩阵，也太tm大了把
- 实际算法是一个先Whitenning再ReColor的过程
- 常规的Whitening操作是加一个小的Regularization Diagnal Term在原本的Covariance Matrix上，让其显式地变成full Rank
- 再将原来的Feature的Inverse Square Root乘上去，做Re-Color
- 这里的Eye就是那个regularization term
- 这么来回的原因是采用SVD的方法不稳定，可能收敛慢
