这页简介哈密顿图促其新生的神经网络(如北大前辈状元唐策善教授1991年出版《并行图论算法》一书的最后章是“神经网络在图论问题中的应用”--4节“概述”“H模型和旅行商问题”“其它模型和旅行商问题”“应用举例”,而这全唯一讲的旅行商问题”就如下面见其是最小哈密顿圈问题其重要作用体现在下面的第六代计算机和人工智能等)

这里最后段见我们海南琼大导师钟集教授是中国组合设计先驱,如此我有靳蕃教授19905月出版的《组合设计与编码》(当时组合设计书籍很少)。此外,本来神经网络从60到80年代初是低潮期,但随着Hopfield其后H神经网络(离散型和模拟型)解决TSP(最小哈密顿圈问题)从而就如我也有的靳蕃1991年出版的《神经网络与神经计算机-原理×应用》中Amari的序所说“它是当今全世界关注的高科技热点”(这书文献的6本书中第1个是其博士已成科创版我国首富的陈院士的并行算法其后3本是包括上面的图论组合书-这书只有一个附录中国旅行商问题-这就是一类最小哈密顿圈问题。许多人认为这作序的日本人Amari世界第一,当然各受不同影响的常有自己的说法,不过Haykin的世界最经典的神经网络书籍《神经网络与机器学习》引他的第一作者文献17个,其次是9个的Y.LeCun, R.Linsker, D. Prokhorov,再其次是7个的S.Haykin, D. Bertsekas-其它人都比他们少;日本在神经网络还有提出cognitron认识器模型及其改进型新认识器的Kunihiko Fukushima福岛邦彦(还有独撰《组合密码学》的沈世镒教授也独撰《神经网络系统理论及其应用》但这两书都比靳蕃教授的稍迟--沈世镒教授的第一个博士杨恩辉的博士论文就做算法信息论及信源编码并当选加拿大皇家科学院院士;做为攻读离散数学的我们,我也有靳蕃教授的大学获得麻省理工博士并1980年就已当选中科院院士的曹建猷资深院士独撰于1985年独出版的《离散数学》(这书华人文献只有2个并第1个是靳蕃的其后是张大师的,巧的是曹建猷院士培养的60%博士生都和靳蕃教授合作指导

我们海南琼州大学90年代初已在多个方向居于世界领先或世界先进水平的图论与神经网络的关系,也可参考三尊大神:许进(北京大学一级教授、中科院院士候选人),焦李成(人工智能领域先行者、担当者、推动者),保铮(西安电子科技大学原校长、院士)合写的《神经网络图论》的摘要所讲:“本文讨论了神经网络与图论之间的相互关系:神经网络的深入研究与发展离不开图论,神经网络的深入发展必将对图论中许多问题的进一步研究产生重要的影响。文中论述了图论在神经网络研究中的作用、地位及应用现状,同时概述了神经网络在图论中的应用情况”。

我以前重视神经网络也还因这3本书:《第六代计算机.人工神经网络计算机》,王汝笠,章明,周斌,科学技术文献出版社1992年;《电脑化人脑 神经网络-第六代计算机-作者是以美国国父乔·华盛顿命名的乔·华盛顿大学的Harold Hwa-Ling Szu斯华龄-曾任INNS主席(他的导师是多次获得诺贝尔物理学奖提名的乌伦贝克、他的师姐是王承书院士和清华王明贞教授),北京大学出版社1993年;《人工神经网络:第六代计算机的实现》,周继成,周青山,韩飘扬,科学普及出版社,1993(还有《第六代计算机信息处理基础——联想记忆原理》,李盘林,姜克隽,卫作人,大连理工大学出版社1991年,它的联想记忆是神经网络的主要领域,而它的第一作者李盘林也是1982年出版的海南琼大师爷R. A. Brualdi的组合数学世界第一名著《组合学导引》的第一译者);如此,曾一直展望:“现代计算机还能走多远?第六代神经网络计算机是人类的终极追求?”,但看来人们曾经怀抱的期望有些过大,现实是还需要期待更多更深入的探索…

W. Thomas Miller III和强化学习之父Richard S. Sutton以及反向传播算法之父Paul J. Werbos1990主编的Neural networks for control神经网络控制》有Guenther报道Tony Owen的报等(我们琼州大学物理系林雄教授1998年在中国教育部直属重点大学的陕西师大学报增刊的论文引用的4篇文献就有Paul J. Werbos的博士论文、斯华龄的上面书和庄镇泉等的书)最大公约数倍数和表示通式及其应用, 最大公约数的倍数和表示

图神经网络Graph Neural NetworksGNN):

   关于这领域正如“GNN全名图神经网络,这里的G是图(Graph)的意思,GNN之所以重要,是因为图很重要”,也如“GNN里的,正是指图论。应该说,图神经网络并不是图与机器学习的第一次结合,次结合,机器学习在此之前已经大量使用

最近图神经网络风起云涌广受关注如世界人工智能大会举行,专家热议图神经网络与认知智能:就如“图机器学习已成为了机器学习领域中炙手可热的‘明星’”,并且图神经网络[GNN]也许是人工智能[AI]的未来

下面只举出清华大学3个组的3篇综述和一些著名的GNN论文(其它大学等就不说了也可想而知一、二状况。关于这领域有说2008,Franco ScarselliMarco Gori等人最早提出了图神经网络(GNN)的概念-其实2005年的Marco Gori等的这篇提出了图神经网络(GNN)-这个不难得到证实,总之是因所需而由神经网络和图论相结合而诞生的):

 Graph Neural Networks: A Review of Methods and Applications,作者:刘知远,孙松茂等(清华大学孙茂松组一文综述GNN。孙松茂是清华大学人工智能研究院常务副院长,该院学术委员会主任由图灵奖得主期智院士担任。这领域正如不久前这清华大学人工智能研究院院长张钹院士首次全面阐述第三代人工智能的理念,提出第三代人工智能的发展路径是融合第一代的知识驱动和第二代的数据驱动的人工智能,基于知识图谱的推理体现了第三代人工智能的特点。而图神经网络的研究趋势恰恰是面向推理和认知(张钹院士和他弟弟张铃教授也在1997年合撰出版《人工神经网络理论及应用》。不仅清华搬出姚期智和张钹院士坐镇统帅人工智能,北京大学人工智能研究院院长更由北京大学副校长担任)

 A Comprehensive Survey on Graph Neural NetworksPhilip S. Yu俞士纶(清华大学数据科学研究院院长)

 Deep Learning on Graphs: A Survey, Wenwu Zhu朱文武(清华大学计算机系副主任、信息科学与技术国家研究中心副主任、欧洲科学院外籍院士等)

 Relational inductive biases, deep learning, and graph networks,作者:DeepMind、谷歌大脑、MIT27位作者重磅论文--图网络让深度学习也能因果推理 

 Graph-based Evidence Aggregating and Reasoning孙松茂等;  Graph-based Evidence Aggregating and Reasoning for Fact Verification,周界,刘知远等;  

   有许多视频的斯坦福大学年轻的大牛Jure LeskovecRecent Advancements in Graph Neural Networks

不需举出过多,在许多专业网上或点击这里可得所索GNN论文

(至于卷积神经网络(CNN),如“CNN已老,GNN来了图神经网络(GNN)也许是 AI 的未来”。不仅做为过度应有所掌握且尚有许多可借鉴的生命力)

图数据库Graph Database

关于这领域,上面清华大学人工智能研究院、清华-中国工程院知识智能联合研究中心联合重磅发布了《人工智能之图数据库》报告图数据库(Graph Database)是一个基于图论模型的在线数据库管理系统,并目前图数据库的应用已有(1) 金融,保险,电信,医疗,公共安全,情报等部门反欺诈、…(9)9个典型的图数据库应用场景

图网络(Graph Network, GN)

再说一个由点集合V=(v1, v2, …,vn)和边集合E=(e1, e2, …,en组成的图网络G(V, E):是图神经网络(graph neural network, GNN)和概率图模型(Probabilistic Graphical Model, PGM的推广(在MGPThesis Keyword输入“Probabilistic Graphical Model”见1Probabilistic Graphical Model博士学位论文是Eric Xing(邢波)教授在这里第1哈佛学派Richard Karp等合作指导下于2004年完成的-其实在罗格斯大学杨中枢教授指导下Eric Xing(邢波)1999年已获别的学科博士学位,其后2Probabilistic Graphical Model博士学位论文是Gal ElidanNir Friedman指导下于2005年完成的--Nir Friedman就是1208页的《概率图模型》巨著的第2作者),

图网络由图网络块(GN block)构成,具有灵活的拓扑结构,可以特化为各类连接主义(connectionist)模型,包括前馈神经网络(Feedforward Neural Network)、递归神经网络(Recursive Neural Network)等

即图网络由相互连接的图网络块(GN block)组成,在神经网络实现中也被称为节点(node。节点间的连接被称为边(edge,表示了节点间的依赖关系。图网络中节点和边的性质与图结构相同,因此可分为有向图(directed graph)和无向图(undirected graph)。有向图的例子包括递归神经网络(Recursive Neural Network)和循环神经网络(Recurrent Neural Network);无向图的例子包括Hopfield神经网络、马尔可夫网络(Markov Network)等

图网络的每个节点都有内部状态和系统状态,被称为属性(attribute”。图网络的属性会在计算中按时间步(time-step)更新,更新方式包括同步和异步两种,同步更新时,一个时间步内所有节点的属性都会更新,异步更新时,一个时间步内只有部分节点的属性得到更新.

诚然,图论的作用极多如现在各重要大学纷成立大数据学院--而有书公司创始人兼CEO扎克伯格讲解图论的文章标题是图论是理解大数据的关键”--可参看小虎总裁翻译的文章;这个脸书公司无人机项目带领人弗兰克戴乐特(Frank Dellaert)最近以第一作者和Michael Kaess合写机器人感知因子图SLAM中的应用》--其中的“因子图-Factor graph”就是海南琼州大学在许多领域曾世界领先或先进的图论与概率结合而成的一类概率图论(近代图论之父Claude Berge的世界名著The theory of graphs and its applications由李修睦先生译之为《图的理论及其应用》的第11章是“因子图”的第1节是“哈密顿路与回路”和第19章是“半因子图”的第1节是“哈密顿圈与半因子”,但这图论书的因子图和这“机器人感知”书的因子图略有不同,也可参看他的《分数图论》并搞图论和概率的UllmanS也合著《分数图论》

 

附:YouTube原创剧集《人工智能时代(这剧由收入曾居福布斯全球演员富豪榜连续三年排名世界第一、并曾主演电影《卓别林》而入围199365届奥斯卡最佳男主角奖的小罗伯特·唐尼主持);关于神经网络-其应用的主战场是模式识别---此外如我曾百次去的华南理工大学而知是全中国最伟大的冯秉铨教授-他的解放前的研究生后是华南理工大学原副校长的徐秉铮教授和张百灵教授、韦岗教授编著1994年出版的《神经网络理论与应用》的第四章“优化计算的神经网络方法”就讲在哈密尔顿图为主的组合优化问题的应用(徐秉铮教授指导1990年毕业的这博士论文是中国最早一批神经网络博士论文)