谷歌AI发布MPNAS，多领域学习通用模型，MDL多路径多领域通吃！

编辑：David Joey

【新智元简介】研究人员提出了一种多路径神经架构搜索（MPNAS）方法，为多个领域构建异构网络架构的统一模型。

用于视觉任务（例如图像分类）的深度学习模型通常使用来自单个视觉域（例如自然图像或计算机生成的图像）​​的数据进行端到端训练。

一般来说，为多个领域执行视觉任务的应用程序必须为每个单独的领域构建多个模型并独立训练它们。不同领域之间不共享数据。在推理过程中，每个模型将处理特定于领域的输入数据。

虽然它们面向的领域不同，但这些模型之间的早期层的一些特征是相似的，因此这些模型的联合训练更加有效。这可以减少延迟和功耗，并减少存储每个模型参数的内存开销。这种方法称为多领域学习（MDL）。

此外，单领域模型，MDL模型也可以比在一个领域进行额外训练更好，从而可以提高模型在另一个领域的性能。这称为“正向知识迁移”，但也可能产生负向知识迁移，具体取决于训练方法和具体领域组合。

虽然MDL之前的工作已经显示了跨领域联合学习任务的有效性，但它涉及手工制作的模型架构，当应用于其他工作时效率很低。

论文链接：

https://arxiv.org/pdf/2010.04904.pdf

为了解决这个问题，在《Multi-path Neural Networks for On-device Multi-domain Visual Classification》一文中，向谷歌研究人员提出了一个通用的MDL模型。

文章称，该模型可以有效实现高精度，减少负向知识迁移，并通过学习提高正向知识迁移。在处理各个特定领域的困难时，可以有效地优化通用模型。

为此，研究人员提出了一种多路径神经架构搜索（MPNAS）方法，为多个领域构建异构网络架构的统一模型。

该方法将高效的神经架构搜索（NAS）方法从单路径搜索扩展到多路径搜索，以共同找到每个域的最佳路径。

还引入了一种称为自适应平衡域优先级（ABDP）的新损失函数，它可以适应特定于域的困难，以帮助有效地训练模型。由此产生的 MPNAS 方法高效且可扩展。

与单域方法相比，新模型的模型大小和 FLOPS 分别减少了 78% 和 32%，同时保持性能不变。

神经结构中的多路径搜索

为了促进正向知识迁移并避免负向迁移，传统的解决方案是构建MDL模型，使每个域共享大部分层并学习每个域的共享功能领域。域（称为特征提取），然后在顶部构建一些特定于域的层。

然而，这种特征提取方法无法处理具有显着不同特征的领域（例如自然图像和艺术绘画中的对象）。另一方面，为每个MDL模型构建统一的异构结构非常耗时，并且需要特定领域的知识。

多路径神经搜索架构框架

NAS 是自动设计深度学习架构的强大范例。它定义了一个由各种潜在构建块组成的搜索空间，这些构建块可以成为最终模型的一部分。

搜索算法从搜索区域中找到最佳候选架构，以优化模型目标，例如分类准确率。最近的 NAS 方法，例如 TuNAS，通过使用端到端路径采样来提高搜索效率。

受到TuNAS的启发，MPNAS分两个阶段建立了MDL模型架构：搜索和训练。

在搜索阶段，为了共同找到每个域的最佳路径，MPNAS 为每个域创建一个单独的强化学习（RL）控制器，该控制器从超级网络（即搜索定义的候选节点）空间开始所有可能子网络的超集中的端到端路径（从输入层到输出层）。

经过多次迭代，所有 RL 控制器都会更新路径，以优化所有领域的 RL 奖励。在搜索阶段结束时，我们获得每个域的子网。

最后，将所有子网络组合起来，为MDL模型创建异构结构，如下图所示。

由于每个域的子网络都是独立搜索的，因此每层中的组件可以由多个域共享（即深灰色节点）、由单个域使用（即浅灰色节点）或不被任何域使用子网。网络使用（即点状节点）。

每个域的路径在搜索过程中也可以跳过任何级别。输出网络既异构又高效，因为子网络可以自由选择沿途使用哪些块，以优化性能。

下图显示了 Visual Domain Decathlon 两个领域的搜索架构。

视觉领域迪卡侬是 CVPR 2017 的 PASCAL in Detail Workshop Challenge 的一部分，测试视觉识别算法处理（或利用）许多不同视觉领域的能力。

可以看出，这两个高度相关的域（一个红色，另一个绿色）的子网络共享其重叠路径的大部分构建块，但它们之间仍然存在差异。

图中的红色和绿色路径分别代表ImageNet和DesribableTextures的子网络，深粉色节点代表多个域共享的块，粉色节点代表每个路径使用的块。图中的“dwb”块代表 dw 瓶颈块。图中的零块表示子网跳过了块

下图显示了上述两个区域的路径相似度。

相似性是通过每个域的子网之间的 Jaccard 相似性分数来衡量的，其中越高意味着路径越相似。

该图像显示了十个域中路径之间的 Jaccard 相似度分数的混淆矩阵。分数范围从0到1。分数越高，两条路径共享的节点越多。

异构多域模型的训练

在第二阶段，MPNAS生成的模型将从头开始针对所有域进行训练。

为此，有必要为所有领域定义一个共同的目标函数。

为了处理各种各样的领域，研究人员设计了一种算法，可以在整个学习过程中进行调整，以平衡跨领域的损失，称为自适应平衡领域优先级（ABDP）。

下面显示了在不同设置下训练的模型的准确率、模型大小和 FLOPS。我们将 MPNAS 与其他三种方法进行比较：

域独立 NAS：为每个域单独搜索和训练模型。
单路径多头：使用预训练模型作为所有域的共享主干，每个域具有单独的分类头。
多头NAS：为所有域搜索统一的骨干架构，每个域具有单独的分类头。

从结果中我们可以观察到NAS需要为每个领域建立一组模型，从而导致模型很大。

虽然单路径多头和多头 NAS 可以显着减少模型大小和 FLOPS，但强制域共享同一主干会引入负面知识转移，从而降低整体准确性。

相比之下，MPNAS 可以构建小型且高效的模型，同时仍保持较高的整体精度。

MPNAS 的平均准确率甚至比领域无关的 NAS 方法高出 1.9%，因为该模型能够实现主动知识迁移。

下图比较了每个top-1的准确率这些方法的域。

评估表明，使用 ABDP 作为搜索和训练阶段的一部分将 top-1 准确率从 69.96% 提高到 71.78%（增量：+1.81%）。

‍未来方向

MPNAS 是构建异构网络的有效解决方案，以解决MDL中可行的参数共享策略的数据不平衡、域多样性、负迁移、域可扩展性和大搜索空间。

通过使用类似 MobileNet 的搜索区域，生成的模型也适合移动设备。

针对与现有搜索算法不兼容的任务，研究人员不断扩展 MPNAS 进行多任务学习，并希望利用 MPNAS 构建统一的多领域模型。

参考：

https://ai.googleblog.com/2022/