首先列出损失函数：

\begin{equation}
L(\phi)=\sum_{i=1}^N l^n (\theta^n)
\end{equation}

初始化参数 $\phi$ 的更新方式为（全局）：

\begin{equation}
\phi_t = \phi_{t-1}-\eta \nabla_\phi L(\phi), \; \nabla_\phi L(\phi)=\sum_{i=1}^n\nabla_\phi l^n(\theta^n)
\end{equation}

其中，$\nabla_\phi l^n(\theta^n)$的展开式为：

\begin{bmatrix}
\partial l_1/\partial\phi_1 & \partial l_2/\partial\phi_1 & \ldots & \partial l_n/\partial\phi_1\\
\partial l_1/\partial\phi_2 & \partial l_2/\partial\phi_2 & \ldots & \partial l_n/\partial\phi_2\\
\partial l_1/\partial\phi_3 & \partial l_2/\partial\phi_3 & \ddots & \partial l_n/\partial\phi_3\\
\partial l_1/\partial\phi_n & \partial l_2/\partial\phi_n & \ldots & \partial l_n/\partial\phi_n\\
\end{bmatrix}

因为一个 $\phi$ 对应很多 $\theta$，所以由链式求偏导法则我们可以知道下图的关系式（以上面矩阵中单个元素为例，所以 $l$ 就不带任何角标了）：

\begin{equation}
\frac{\partial l}{\partial \phi_i} = \sum_{j}\frac{\partial l \partial \theta_j}{\partial \theta_j \partial \phi_i}
\end{equation}

而在每一个任务中，参数 $\theta$ 的更新方式为（单个任务）：

\begin{equation}
\theta_j=\phi_j-\epsilon\nabla_\phi l(\phi_j)=\phi_j-\epsilon\frac{\partial l(\phi_j)}{\partial \phi}
\end{equation}

\begin{cases}
\frac{\partial \theta_j}{\partial \phi_i}=-\epsilon\frac{\partial l(\phi)}{\partial \phi_i \partial \phi_j} \approx 0 & i \neq j \\
\frac{\partial \theta_j}{\partial \phi_i}=1-\epsilon\frac{\partial l(\phi)}{\partial \phi_i \partial \phi_j} \approx 1 & i = j
\end{cases}

取消第二项的二次微分时：

\begin{equation}
\frac{\partial l}{\partial \phi_i} \approx \frac{\partial l}{\partial \theta_i}
\end{equation}

以上公式是我看懂and抄下来，真佩服能手推公式的。这样，参数如何更新的就讲完了。MAML的主要目标也是更新参数。

但在 MAML 中，每个任务的网络的参数只更新一次，有以下优势：

来看一下 $\phi$ 的更新趋势：

采样 $m$ 个任务，第一次训练完毕得到参数 $\theta_1$，计算 $\theta_1$ 的梯度方向，将 $\phi_0$ 按照梯度方向更新至 $\phi_1$，之后的训练以此类推。

将训练模块和预测模块放到一起，训练数据和测试数据同时进入，以此来达到区分一次训练数据中 Support Set 和 Query Set 的区别，更好的将不同的样本区分开。这里简单介绍两种网络，Siamese Network，Prototypical Network 和 Relatoin Network。

在训练数据中引入一个类，测试数据只有一个类。经过可参数共享的 CNN 后得到嵌入表示，并计算测试数据和训练数据中每个类数据的相似性，以此来计算得分。若测试数据和训练数据中的某个样本属于同一类，则该单元的输出最高。举例说明：

训练数据为类别为1，测试数据的类别为3。那么相似性应该很低，输出的分数也低。如果是同一类，相似度高，输出的分数就高，这就是基于度量的 meta-learning。

其实就是计算的两个样本是否相似，可以看成一个二分类问题。同一类的样本距离近，不同类的样本远。与 AutoEncoder 的区别是，AutoEncoder 是尽可能的复原信息，而不是提取能作为区分的重要信息。

输入数据是1，2，3，4，5这么多个类，每个类一个数据。测试数据的类别是 3。那么，第三个单元的输出最大，其他单元的输出较小。以此来计算相似度，拉开不同类样本在空间中的分布。