深度学习的江湖已经能够被统一了吗？

你能想象某一天打开深度学习的词条，发现：

深度学习的江湖已经能够被统一了吗？

几何学上的对称性可以玩转整个深度学习吗？

通过对称性和的变换，可以提炼出覆盖CNNs, GNNs, LSTMs, Transformers, DeepSets, mesh CNN等一切你所需构建的架构吗？
 

不要惊讶，不要怀疑。

一百多年前埃尔兰根大学一位23岁的小伙就给出了答案。

他仅凭一己之力开创的“埃尔兰根计划”，从而在几何学上做出了一项开创性的工作，改变了数学史。
 

在182年1月，德国的埃尔兰根大学聘任命了一位新的年轻教授。按照惯例，他被要求提供一个就职研究计划，他以长而乏味的标题Vergleichende Betrachtungen über neuere geometrische Forschungen（“对几何学最新研究的比较评论”）进行了发表。
 

克莱因的Erlangen program（埃尔兰根纲领）的突破性体现在研究几何学时运用结了构的对称性。克莱因采用群论的形式来定义此类转换，并采用群及其子群的层次结构来分类由此产生的不同几何形状。

因此，刚性运动会产生传统的欧几里得几何，而仿射或投影变换分别产生仿射和投影几何。
 

目前深度学习领的现状和19世纪的几何情况惊人的类似：

一方面，在过去的十年中，深度学习带来了数据科学的一场革命，并完成了许多以前被认为无法实现的任务：无论是计算机视觉，语音识别，自然语言翻译，还是下围棋。

另一方面，现在存在一个针对不同类型数据的不同神经网络体系结构的“动物园”，但统一的原理很少。这样很难理解不同方法之间的关系，也导致相同概念的多次发明和资源的浪费。
 

具体怎么个“统一”，请看采用的“几何深度学习”：

几何深度学习是Michael M. Bronstein，Joan Bruna，Taco Cohen，Petar Veličković 等人中引入的一个笼统术语，指的是类似于Klein的Erlangen program，在几何机器学习上统一的尝试的总称。

它有两个目的：首先，提供一个通用的数学框架以推导最成功的神经网络体系结构；其次，给出一个建设性的过程，并以有原则的方式构建未来的体系结构。

在最简单的情况下，有监督的机器学习本质上是一个函数估计问题：给定训练集上某些未知函数的输出（例如标记的狗和猫图像），人们试图从某个假设函数类别中找到一个适合训练的函数f ，并可以预测以前看不见的输入的输出。
 

这是一种非常通用的设计，可以应用于不同类型的几何结构，包括几何深度学习的“ 5G”（Grid,Groups,Graphs,Geodesics & Gauges）：网格（具有全局转换群的齐次空间），图形（以及特殊情况下的集合）和流形，几何先验通过全局等距不变性表示（可以使用测地学表示） 和局部规范的对称性。

这些原则的实现导致了深度学习中当今存在的一些最流行的体系结构：从平移对称导出的卷积网络（CNN）、图神经网络、DeepSets和Transformers，实现了置换不变性， 时间扭曲不变导出的门控RNN（例如LSTM网络），以及由规范对称性导出的计算机图形和视觉中使用的 Intrinsic Mesh CNN。

 

（编辑：辽源站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!