IBM研究人员提出了进化的“神经突变”算法，使机器学习选择速度提高了5万倍，

IBM研究人员提出了进化算法“Neural Mutation”，可以自动选择最适合机器学习任务的算法，选择速度提高了5万倍。 ，错误率仅增加了 0.6%。

机器学习系统并非“生而平等”。没有一种算法可以处理所有机器学习任务，这使得寻找最佳机器学习算法成为一项困难且耗时的任务。但现在这个问题有望得到解决。最近，IBM研究人员开发了一种可以自动选择AI优化算法的系统。

IBM爱尔兰研究院的数据科学家Martin Wistuba在最近的一篇博文中介绍了他开发的系统。他声称，该系统将自动选择优化AI算法的速度提高了5万倍，而错误率仅增加了0.6%。

Wistuba表示，这套进化算法系统可以将选择合适的机器学习架构的时间减少到几个小时，让大家都有条件优化深度学习网络架构。

用于机器学习的神经网络突变算法

该方法将卷积神经网络架构视为一系列神经元，然后应用一系列突变来找到可以改善给定数据集和机器学习任务性能的结构神经网络。

该方法显着缩短了网络训练时间。这些突变改变了网络结构，但没有改变网络的预测。网络的结构变化可能包括添加新层、添加新连接或扩展核心或现有层。

保留原始功能的神经网络突变示例。右边的架构是变异网络，但与左边的架构具有相同的预测结果（用相同的颜色表示）

实验评估：快50,000倍，错误率仅增加0.6％

在实验中，研究人员将新的神经进化方法与其他几种在 CIFAR-10 和 CIFAR-100 数据集上执行图像分类任务的方法进行了比较。这些数据集是用于训练机器学习和计算机视觉算法的常用图像集。

与最先进的手工设计架构、基于强化学习的架构搜索方法以及其他基于进化算法的自动化方法的结果相比，结构变异算法的分类误差略高与之前的方法相比，它的耗时要少得多，比其他方法快 50,000 倍，并且在基准数据集 CIFAR-10 上的错误率仅比最强竞争对手高 0.6%。

下图展示了算法的优化过程。在图 2 中，每个点代表不同的结构，连接线代表突变。不同的颜色表示每个结构的准确性，x轴表示时间。可以看出，准确率在前10小时内迅速增加，然后缓慢增加，最后趋于稳定。

深度学习网络设计的进化算法优化

图展示了进化算法随时间的优化过程

下图展示了深度学习网络结构随时间的发展。

网络结构随着时间的发展，一些中间状态没有在图中显示

其实，自动算法选择并不新鲜。谷歌还在智能手机中使用这种方法进行面部和物体识别，如果 IBM 的系统按承诺工作，它可能代表该领域的重大进步。

未来，研究人员希望能够将这种优化集成到IBM的云服务中，并提供给客户。 还计划将其扩展到更大的数据集，例如 ImageNet 以及其他类型的数据，例如时间序列和文本、自然语言处理任务等。

Wistuba将在欧洲机器学习会议上介绍该方法和数据库知识发现 (ECML-PKDD)，爱尔兰都柏林，9 月。