哈密顿图促新生的神经网络:

这里最后段见我们海南琼大导师钟集教授是中国组合设计先驱,如此我有靳蕃教授19905月出版的《组合设计与编码》(当时组合设计书籍很少)。此外,本来神经网络从60到80年代初是低潮期,但随着Hopfield其后H神经网络(离散型和模拟型)解决TSP(最小哈密顿圈问题)从而就如我也有的靳蕃1991年出版的《神经网络与神经计算机-原理×应用》中Amari的序所说“它是当今全世界关注的高科技热点”(这书文献的6本书中第1个是陈院士的并行算法其后3本是包括上面的图论组合书。许多人认Amari世界第一,当然各受不同影响的常有自己的说法,不过Haykin的世界最经典的神经网络书籍《神经网络与机器学习》引他的第一作者文献17个,其次是9个的Y.LeCun, R.Linsker, D. Prokhorov,再其次是7个的S.Haykin, D. Bertsekas-其它人都比他们少--作者对第一多文献的总谨慎(当然象沈世镒教授也独撰《组合密码学》和《神经网络系统理论及其应用》但两书都比靳蕃教授的稍迟;做为攻读离散数学的我们,我也有靳蕃教授的大学获得麻省理工博士并1980年就已当选中科院院士的曹建猷资深院士独撰于1985年独出版的《离散数学》(这书华人文献只有2个并第1个是靳蕃的其后是张大师的,巧的是曹建猷院士培养的60%博士生都和靳蕃教授合作指导

我们海南琼州大学90年代初已在多个方向居于世界领先或世界先进水平的图论与神经网络的关系,也可参考三尊大神:许进(北京大学一级教授、中科院院士候选人),焦李成(人工智能领域先行者、担当者、推动者),保铮(西安电子科技大学原校长、院士)合写的《神经网络图论》的摘要所讲:“本文讨论了神经网络与图论之间的相互关系:神经网络的深入研究与发展离不开图论,神经网络的深入发展必将对图论中许多问题的进一步研究产生重要的影响。文中论述了图论在神经网络研究中的作用、地位及应用现状,同时概述了神经网络在图论中的应用情况”。

图神经网络(Graph Neural NetworksGNN):

   关于这领域正如“GNN全名图神经网络,这里的G是图(Graph)的意思,GNN之所以重要,是因为图很重要”,也如“GNN里的,正是指图论。应该说,图神经网络并不是图与机器学习的第一次结合,次结合,机器学习在此之前已经大量使用

最近图神经网络风起云涌广受关注如世界人工智能大会举行,专家热议图神经网络与认知智能:就如“图机器学习已成为了机器学习领域中炙手可热的‘明星’”,并且图神经网络[GNN]也许是人工智能[AI]的未来

下面只举出清华大学3个组的3篇综述和一些著名的GNN论文(其它大学等就不说了也可想而知一、二状况。关于这领域有说2008,Franco ScarselliMarco Gori等人最早提出了图神经网络(GNN)的概念-其实2005年的Marco Gori等的这篇提出了图神经网络(GNN)-这个不难得到证实,总之是因所需而由神经网络和图论相结合而诞生的):

 Graph Neural Networks: A Review of Methods and Applications,作者:刘知远,孙松茂等(清华大学孙茂松组一文综述GNN。孙松茂是清华大学人工智能研究院常务副院长,该院学术委员会主任由图灵奖得主期智院士担任。这领域正如不久前这清华大学人工智能研究院院长张钹院士是首次全面阐述第三代人工智能的理念,提出第三代人工智能的发展路径是融合第一代的知识驱动和第二代的数据驱动的人工智能,基于知识图谱的推理体现了第三代人工智能的特点。而图神经网络的研究趋势恰恰是面向推理和认知北京大学人工智能研究院院长更由北京大学副校长担任)

 A Comprehensive Survey on Graph Neural NetworksPhilip S. Yu俞士纶(清华大学数据科学研究院院长)

 Deep Learning on Graphs: A Survey, Wenwu Zhu朱文武(清华大学计算机系副主任、信息科学与技术国家研究中心副主任、欧洲科学院外籍院士等)

 Relational inductive biases, deep learning, and graph networks,作者:DeepMind、谷歌大脑、MIT27位作者重磅论文--图网络让深度学习也能因果推理 

 Graph-based Evidence Aggregating and Reasoning孙松茂等;  Graph-based Evidence Aggregating and Reasoning for Fact Verification,周界,刘知远等;  

   有许多视频的斯坦福大学年轻的大牛Jure LeskovecRecent Advancements in Graph Neural Networks

不需举出过多,在许多专业网上或点击这里可得所索GNN论文

(至于卷积神经网络(CNN),如“CNN已老,GNN来了图神经网络(GNN)也许是 AI 的未来”。不仅做为过度应有所掌握且尚有许多可借鉴的生命力)

图数据库:

关于这领域,上面清华大学人工智能研究院、清华-中国工程院知识智能联合研究中心联合重磅发布了《人工智能之图数据库》报告图数据库(Graph Database)是一个基于图论模型的在线数据库管理系统,并目前图数据库的应用已有(1) 金融,保险,电信,医疗,公共安全,情报等部门反欺诈、…(9)9个典型的图数据库应用场景

图网络(Graph Network, GN)

再说一个由点集合V=(v1, v2, …,vn)和边集合E=(e1, e2, …,en组成的图网络G(V, E):是图神经网络(graph neural network, GNN)和概率图模型(Probabilistic Graphical Model, PGM的推广(在MGPThesis Keyword输入“Probabilistic Graphical Model”见1Probabilistic Graphical Model博士学位论文是Eric Xing(邢波)教授在这里第1哈佛学派Richard Karp等合作指导下于2004年完成的-其实在罗格斯大学杨中枢教授指导下Eric Xing(邢波)1999年已获别的学科博士学位,其后2Probabilistic Graphical Model博士学位论文是Gal ElidanNir Friedman指导下于2005年完成的--Nir Friedman就是1208页的《概率图模型》巨著的第2作者),

图网络由图网络块(GN block)构成,具有灵活的拓扑结构,可以特化为各类连接主义(connectionist)模型,包括前馈神经网络(Feedforward Neural Network)、递归神经网络(Recursive Neural Network)等

即图网络由相互连接的图网络块(GN block)组成,在神经网络实现中也被称为节点(node。节点间的连接被称为边(edge,表示了节点间的依赖关系。图网络中节点和边的性质与图结构相同,因此可分为有向图(directed graph)和无向图(undirected graph)。有向图的例子包括递归神经网络(Recursive Neural Network)和循环神经网络(Recurrent Neural Network);无向图的例子包括Hopfield神经网络、马尔可夫网络(Markov Network)等

图网络的每个节点都有内部状态和系统状态,被称为属性(attribute”。图网络的属性会在计算中按时间步(time-step)更新,更新方式包括同步和异步两种,同步更新时,一个时间步内所有节点的属性都会更新,异步更新时,一个时间步内只有部分节点的属性得到更新.

诚然,图论的作用极多如现在各重要大学纷纷成立“大数学院--而有书公司创始人兼CEO扎克伯格讲解图论的这文章题是图论是理解大数据的关键”--可参看小虎总裁翻译的文章;这个脸书公司无人机项目带领人弗兰克戴乐特(Frank Dellaert)最近以第一作者和Michael Kaess合写机器人感知因子图SLAM中的应用》--其中的“因子图-Factor graph”就是海南琼州大学在许多领域曾世界领先或先进的图论与概率结合而成的一类概率图论(近代图论之父Claude Berge的世界名著The theory of graphs and its applications由李修睦先生译之为《图的理论及其应用》的第11章是“因子图”的第1节是“哈密顿路与回路”和第19章是“半因子图”的第1节是“哈密顿圈与半因子”,但这图论书的因子图和这“机器人感知”书的因子图略有不同,也可参看他的《分数图论》并搞图论和概率的UllmanS也合著《分数图论》

 

附:YouTube原创剧集《人工智能时代(这剧由收入曾居福布斯全球演员富豪榜连续三年排名世界第一、并曾主演电影《卓别林》而入围199365届奥斯卡最佳男主角奖的小罗伯特·唐尼主持)