⌛ 多模态 Multi-Modality
⌛ 表示待补充
- 模态： 信息的来源或者是形式
- 分类 Taxonomy
- 多模态表示学习(Multimodal Representation)
- Representation意指的将输入数据的Feature映射为高维度向量
- 模态之间转化 (Translation)
- 映射关系的转化
- Example：语言翻译，Caption，
- 模态对齐 (Alignmnet)
- 主要是寻找不同模态之间的对应关系
- Example 视频处理中的Temporal Sequence Alignment
- 甚至语义分割也是?（没理解）
- 多模态融合 (Multimodal Fusion)
- 常分为不同的层次
- Pixel Level
- Feature Level
- Decision Level
- Example最终一般是分类预测或者是回归
- 情感分析
- 生物特征识别
- 常分为不同的层次
- 协同学习(Co-Learning)
- 各个模态之间的信息互相补充
- 引申到迁移学习，以及One/Zero Shot
- 多模态表示学习(Multimodal Representation)
