MOME Transformer用3个模态专家替换了Transformer的前馈网络：视觉专家（V-FFN）、语言专家（L-FFN）和视觉语言专家（VL-FFN）。针对不同的情况，使用不同的专家来处理任务。

但是，Transformer的Multi-Head Self-Attention(MSA)是共享的，意味着Query、Key和Value的参数是共享的。

**双塔：**如果输入是仅图像或仅文本向量，则使用视觉Expert对图像进行编码，使用语言Expert对文本进行编码。如果是VL检索任务，分别得到图像和文本的embedding后，计算两者相似度。这就是VLMo的双编码器结构。

**单塔：**如果输入是多种模态的向量组成，如图像-文本对的向量，则使用视觉专家和语言专家在Transformer底层编码各自的模态向量。然后使用视觉语言专家在顶层来捕获更多的模态交互。比如下图的VL分类任务，就是VLMo的融合编码器结构。

VLMo有三个预训练任务。

图像-文本对比学习 ：给定一个batch的图像文本对，图像文本对比学习的目标是预测 \begin{gathered} s_{i, j}^{i 2 t}=\hat{\boldsymbol{h}}_i^{v \top} \hat{\boldsymbol{h}}_j^w, s_{i, j}^{t 2 i}=\hat{\boldsymbol{h}}_i^{w \top} \hat{\boldsymbol{h}}_j^v \\ p_i^{i 2 t}=\frac{\exp \left(s_{i, i}^{i 2 t} / \sigma\right)}{\sum_{j=1}^N \exp \left(s_{i, j}^{i 2 t} / \sigma\right)}, p_i^{t 2 i}=\frac{\exp \left(s_{i, i}^{t 2 i} / \sigma\right)}{\sum_{j=1}^N \exp \left(s_{i, j}^{t 2 i} / \sigma\right)} \end{gathered} s i , j i 2 t ​ = h ^ i v ⊤ ​ h ^ j w ​ , s i , j t 2 i ​ = h ^ i w ⊤ ​ h ^ j v ​ p i i 2 t ​ = ∑ j = 1 N ​ exp ( s i , j i 2 t ​ / σ ) exp ( s i , i i 2 t ​ / σ ) ​ , p i t 2 i ​ = ∑ j = 1 N ​ exp ( s i , j t 2 i ​ / σ ) exp ( s i , i t 2 i ​ / σ ) ​ ​
**掩码语言建模：**BERT中的MLM。

图像-文本匹配 ：使用[T_CLS]标记的最后一个隐藏向量来表示图像-文本对，并将该向量输入具有交叉熵损失的分类器进行二进制分类。还加了难负样本图像-文本对。

• 首先，只使用图像数据对MOME Transformer的视觉专家和注意力模块进行视觉预训练。作者直接利用BEIT的预训练参数来初始化注意模块和视觉专家。
• 然后，冻结注意力模块和视觉专家的参数，只使用文本数据对语言专家进行语言预训练。
• 最后，解开冻结，用整个该模型进行VL预训练。

**视觉语言分类（单塔）：**对于视觉问题回答和视觉推理等分类任务，使用VLMo作为融合编码器来建模图像和文本的模态交互。使用标记[T_CLS]的最终编码向量作为图像-文本对的表示，并将其提供给特定于任务的分类器层来预测标签。

**视觉语言检索（双塔）：**对于检索任务，VLMo可以作为双编码器分别对图像和文本进行编码。在微调过程中，对图像-文本用对比损失函数优化。在推理过程中，计算所有图像和文本的表示，然后使用点积得到所有可能的图像-文本对的图像到文本和文本到图像的相似性得分。