开源图神经网络框架DGL升级:GCMC训练时间从1天缩到1小

  发布日期:  2019-10-27 18:42:15    

做明编辑整理

量子位报告

另一个人工智能框架已经升级。

这一次,纽约大学和亚马逊联合推出了图形神经网络框架dgl。

不仅对异构图的支持全面启动,相关异构图神经网络的代码也被复制和开放,在gcmc和rcgn等业界知名模型的实现中取得了较好的效果。

还发布了用于训练知识图嵌入的专用包dgl-ke,提高了许多经典图嵌入模型的性能。

目前,在2018年神经网络和图形机器学习会议上发布的框架已经赢得了3000颗星,并且已经成为图形神经网络和图形机器学习领域中更受关注的工具。

异质图:神经网络的新方向

异构图是对应于相同组成的新概念。

传统同构图形数据中只有一种节点和边,因此在构造图形神经网络时,所有节点共享相同的模型参数,具有相同的维数特征空间。

然而,异构图可以具有不止一种节点和边,从而允许不同类型的节点具有不同维度的特征或属性。

这一特性使得异构图得到了广泛的应用。如果我们用图形来描述我们和周围事物之间的关系,我们会发现生成的图形自然是异质的,例如:

我今天看了电影《漫游地球》,作为观众的《我》和电影《漫游地球》之间的关系已经建立。

异构图可以用来描述这组交互。该图分为“观众”和“电影”节点,以及“观看”边缘。

作为观众,我必须有不同于电影的属性,并且需要用不同的模型或不同的特征维度来表达。

因此,这幅画自然具有异质性。此外,与传统方法相比,基于异构图训练的神经网络在某些场景下也能取得更好的效果和性能。

现已应用于知识地图、推荐系统、恶意账户识别等领域和任务。

两个有代表性的模型是用于节点分类和链接预测的rgcn和用于产品推荐的gcmc。

但是如何设计一个“又快又好”的深层神经网络呢?

这是纽约大学和亚马逊联合推出图形神经网络框架dgl的起点。

新型dgl:异构图神经网络的利器

这个更新发布了DGL版本0.4,使得整个框架更加实用。

不仅对异构图的支持完全在线,而且相关异构图神经网络的代码也被复制和开放:

△dgl 0.4中基于异构图的△ rgcn层实现代码

官员们表示,在这种新版dgl上实施业界著名的异构图神经网络也有更好的性能:

GCMC:与原作者的实现相比,DGL在电影100k上有5倍的加速度,在电影1m上有22倍的加速度。Dgl的内存优化支持在gpu上训练movielens-10m(最初的实现需要从cpu动态加载数据),从而将最初需要24小时的训练时间缩短到1小时以上。

Rgcn:用一个新的异构图形接口再次实现rgcn。新的实现大大降低了内存开销。am数据集(边数> 5m)的最初实现只能在cpu上计算,因为内存开销太大,而dgl可以被gpu加速,速度提高了291倍。

韩:它提供了一个灵活的接口,通过元路径将异构图转换成相同的组合。

元路径2 EC:新的元路径采样实现比原始作者的实现快两倍。

此外,dgl还发布了分子化学的dgl-chem模型库和知识图嵌入的dgl-ke软件包。Dgl-chem提供包括分子性质预测和分子结构生成在内的预培训模型。

在单个gpu上,dgl-ke可以使用经典的transe模型在7分钟内训练fb15k图形嵌入。与graphvite(v0.1.0)相比,在4个GPU上需要14分钟。

第一版dgl-ke发布了transe、complex和distmult模型,支持cpu训练、gpu训练、cpu和gpu混合训练和单机多进程训练。

dgl团队表示,未来将发布更多的模型和培训方法。

入口

Dgl异构图教程:

https://docs.dgl.ai/tutorials/hetero/1_basics.html

Dgl v0.4更新说明:

https://github.com/dmlc/dgl/releases

Dgl-ke代码和说明:

https://github.com/dmlc/dgl/tree/master/apps/kg

Dgl-chem模型库:

https://docs.dgl.ai/api/python/model_zoo.html#chemistry

-完毕-

真诚的招聘

量子比特正在北京中关村招聘编辑/记者。期待有才华和热情的学生加入我们!详情请回复qbitai对话界面中的“招聘”一词。

量子位qbitai

跟踪人工智能技术和产品的新发展