海南琼州大学在运筹学的许多分支领域居世界领先的图论的哈密顿图可促进神经网络的作用焕发出蓬勃生命力--这页就主要介绍神经网络（如北大前辈状元唐策善教授1991年出版的《并行图论算法》一书的最后章是“神经网络在图论问题中的应用”--共4节“概述”“H模型和旅行商问题”“其它模型和旅行商问题”“应用举例”，而这全都唯一讲的“旅行商问题”就如下面见其是最小哈密顿圈问题.

因我们海南琼州大学的导师钟集教授是中国组合设计第一先驱，如此我有西南交通大学靳蕃教授1990年5月出版的《组合设计与编码》；做为攻读运筹学特别是离散数学研究生的我们，我也有靳蕃教授的1950年获得麻省理工博士的西南交通大学1980年就已当选中科院院士的曹建猷资深院士独撰于1985年独出版的《离散数学》（这书华人文献只有2个并第1个是靳蕃的其后是张大师的，巧的是曹建猷院士培养的60%博士生都和靳蕃教授合作指导--要知1934年生的靳蕃教授和曹建猷院士是14个中国铁道、交通专家入选人中的2人并这14人中靳蕃教授是最年轻的且第2年轻的沈志云都是1929年出生的1991年当选的中科院院士、1994年当选的我国第一届中国工程院院士--该校的另一编码密码学家何大可教授最近也搞得不错）（别小看不甚起名的西南交通大学--如与该校曹建猷院士的《离散数学》有很多交集的运筹学的该校权威郭耀煌就很有成就，如郭耀煌的博士生中仅在这里见到的就竟然有多达有8个正厅级还有多个副厅级：他们是这页最后段福耀科技大学在全国正或刚离任校长中下大血本聘来为常务校长的徐飞--就是该校西南交通大学前正校长（如西交大换将中徐飞发言的第6段最后说“还要衷心感谢我的导师郭耀煌教授，师恩难忘，永远铭记！”并也介绍说徐飞是Frontiers of Business Research in China杂志顾问编委但它仍仅是ESCI）、当了西南交通大学14年副书记十年正书记的王顺洪也是郭耀煌的博士并从2014年起该校正校长正书记全由郭耀煌的这2个博士包办但5年后也许感到由一个导师的2博士包办重点大学是前所未有才调徐飞回上海-因若一先一后担任那还不使人感到窒息-国外就是科研上都害怕单一近亲繁殖-该校人要当校长之不易也如接替徐飞的杨丹一直在重庆读书工作-刚又见接替杨丹的闫学东也没来过西南，郭耀煌的正厅级博士还有江西校长厅长叶仁荪、兰州理工校长李引珍、四川省人大常委会副主任包惠、成都体育学院校长刘青、四川最大的世界500强蜀道集团副董事长周黎明、四川省社科院书记唯一国家级人才陈井安，副厅级的有：徐扬、张明善、西藏大学副校长杨宁等等，其中徐扬的做不确定性推理的博士伊良忠已是四川警察学院校长,与省公安厅厅长同是正厅级-不过分管公检法的副省长需专业人士而常是厅长兼[是因案件总要推理吗?“不确定性推理”就是凡是包含这页最后教育部部长西南大学校长做的非单调推理的书都会讲各类主要的不确定性推理，并“不确定性推理”书籍都要讲主要的“非单调推理”如徐扬等94年的《不确定性推理》张文修梁怡96年的《不确定性推理原理》等，当然不确定性情形很多推理判断方法也很多如诺奖得主Kahneman发于《科学》的高被引“不确定性判断”并主编这专题书]，不过西南交大的毕业生很难到顶级大学重要省市当厅级【只是到了泛滥成灾的当今时代我们才敢说对这样一直没有抢夺走国家人民多少资源等的小大学我们应尊重同情】，象郭耀煌主撰中国建筑工业出版社1986年出版的《运筹学与工程系统分析》、郭耀煌主撰西南交通大学1994年出版的《运筹学原理与方法》、胡运权主编郭耀煌副主编清华大学出版社1998年出版的《运筹学教程》就不错（这书就是“说到运筹学，很多人第一时间想到的是哈工大胡运权教授的教材”并撰者是正副主编以及陈秉正、龚益鸣和程佳惠共5人，如2006年来信邀请海南琼州大学给他的当年包括5个博士已是部长级的宁宣熙教授主编的《管理运筹学教程》一书引用的前2个文献是这书以及他俩和给海南琼大来信的中科院系统所所长田丰教授合撰的《运筹学》一书），虽然郭耀煌教授在中国运筹学会第5届起才当理事而我的导师柳柏濂教授在这学会第3届已是理事并我的另一导师钟集先生和李修睦先生在这页中部见是1983年成立的中南运筹学会居于理事长秦裕瑗副理事长林诒勋之前的顾问并如李修睦是中国运筹学会第一届理事而秦裕瑗林诒勋先生第二届才是理事，可见郭耀煌教授后劲很足并或该校也有可实践运筹学的很多管理工程领域等）-还应参考高度评价海南琼大的数学大师刘彦佩教授的《运筹学》上下册以及这页“中国潜艇之父”邓三瑞校长主译独撰的2本书等--并作为运筹学专业研究生就使是毕业后条件已差但一时仍难割舍专业如此我们其后知道这些书已成我国最著名的运筹学书籍并因课题内容的选择各有侧重而有空都要对比跟进-但更应多读欧美著作特别是新近的权威著作特别是引领世界潮流的诸多论文（虽然1993年来信邀请海南琼州大学去合作的我国运筹学主要创始人许国志院士和刘源张院士等早就合写一本《运筹学》书但因成书较早内容有限虽其后也多次跟进做了大量修改可惜因篇幅有限使很多现代深入发展都没有过多涉及但仍可作为我国这领域标志性历史书籍了解，并许国志院士主撰主编其它许多运筹学书籍也很值得参考如1994年出版的这里的《现代管理科学手册》，就如“中国第一个运筹学小组在钱学森、许国志先生的推动下成立”“ 先遣者中还健在的有越民义先生、刘源张院士、朱永津教授、桂湘云教授、陈锡康教授、徐光煇教授、韩继业教授、李秉全教授、郭绍僖教授等”-其中朱永津教授是海南琼州大学世界领先的哈密顿图的中国开创者，如科学出版社1964年出版的《运筹学论文集》（I）共有8篇论文并最前面2篇的第一作者都是朱永津先生，其它6篇作者是陈锡康教授、韩继业教授、吴沧浦教授、马仲蕃教授、应玫茜教授、李秉全教授[他的第二副理事长林贤郁都已是国家统计局副局长]）。不过,学运筹学就得尽量当官以在实践中检验理论-但有些不明白胡运权的博士只有2个副厅：陈永杰、赵谦，这因相比宁宣熙教授和郭耀煌教授的博士们差别较大【当然运筹学的应用不仅当官还如上面徐飞校长当时担任常务院长的这个上海交通大学管理学院程仕军、黄洁纲、丁仁才1991年的论文“运筹学和人工智能…”所述-作者黄洁纲的研究生全是博士其中姜建清…并黄只主撰2书《存贮论原理及其应用》和《生产作业管理》前2章是确定存贮和随机存贮并绪论说“阐述运筹学在生产作业管理…”如此值得读，也如写运筹学上面我国第一书的清华大学意见领袖陈秉正1995年的论文“人工智能与运筹学”并刚见同方全球人寿的董事长王林、中国再保险集团董事长李培育已和这“意见领袖”陈秉正一同担任董事并见陈的杂志和上面徐飞校长的一样仅是ESCI的--与数学相关的总有些难?前篇已是50个理事全是总裁等而他是理事会联席主席的程仕军的更怪他只担任2个杂志编委其中一个仅是ESCI另一CAR杂志编委有多达200人却已没个大陆人可香港有多达6人-这也算得是一个世界之最大奇闻--编委少还可来这横的-中国可是全球最大市场-这不是冒天下之大不韪吗】。

关于靳蕃教授在运筹学出版的《组合设计与编码》一书当时极有影响（这因当时组合设计书籍尚少而建立在其上的编码理论就应有很大发展空间,这书由在厄巴纳-香槟分校做BCH码博士论文的Kenneth Kai Ming Tzeng曾开明写序）。此外，本来神经网络从60到80年代初是低潮期,但随着Hopfield其后用H神经网络（离散型和模拟型）解决TSP（最小哈密顿圈问题）从而就如我也有的靳蕃1991年出版的《神经网络与神经计算机》中Shun-ichi Amari的序所说“它是当今全世界关注的高科技热点”（这书文献的6本书中第1个是其博士已成科创版我国首富的陈院士的并行算法其后3本是包括上面的图论组合书-这书只有一个附录“中国旅行商问题”-这就是一类最小哈密顿圈问题。许多人认为这作序的日本人Amari是世界第一，当然各受不同影响的常有自己的说法。

我们海南琼州大学90年代初已在多个方向居于世界领先或世界先进水平的图论与神经网络的关系，也可参考三尊大神：许进（北京大学一级教授、中科院院士候选人），焦李成（人工智能领域先行者、担当者、推动者），保铮（西安电子科技大学原校长、院士）合写的《神经网络与图论》的摘要所讲：“本文讨论了神经网络与图论之间的相互关系：神经网络的深入研究与发展离不开图论，神经网络的深入发展必将对图论中许多问题的进一步研究产生重要的影响。文中论述了图论在神经网络研究中的作用、地位及应用现状，同时概述了神经网络在图论中的应用情况”。 也如意大利神经网络学会Eduardo Renato Caianiello奖以其命名的E.R. Caianiello大师就独撰《量子场论中组合数学及其重正则化》一书-再见其两个学科领域的关系。

如此关于这领域书籍除了靳蕃教授1991年出版外，我也有焦李成1990年出版的《神经网络系统理论》、清华大学郑君里等1992年的《人工神经网络》、包约翰著马颂德等译1992年出版的《自适应模式识别与神经网络》、庄镇泉等1992年出版的《神经网络于神经计算机》、清华大学阎平凡教授等1993年出版的《人工神经网络》、胡守仁等1993年的《神经网络导论》等。

关于大赞靳蕃教授的书Amari，就如Haykin的世界经典的神经网络书籍《神经网络与机器学习》引他的第一作者文献17个，其次是9个的Y.LeCun, R.Linsker, D. Prokhorov，再其次是7个的S. Haykin, D. Bertsekas-其它人都比他们少；日本在神经网络还有提出cognitron认识器模型及其改进型新认识器的Kunihiko Fukushima福岛邦彦）（还有独撰《组合密码学》的沈世镒教授也独撰《神经网络系统理论及其应用》但这两书都比靳蕃教授的稍迟--沈世镒教授的第一个博士杨恩辉的博士论文就做“算法信息论及信源编码”并当选加拿大皇家科学院院士）；其中的自组织神经网络的自适应谐振理论模型是我们现代组合数学奠基人Gian-Carlo Rota的博士Stephen Grossberg根据史上罕有的全才Hermann von Helmholtz亥姆霍兹的无意识推理学说的协作-竞争网络交互模型而于1976年提出的。我以前重视神经网络也还因这3本书：《第六代计算机.人工神经网络计算机》，王汝笠,章明,周斌，科学技术文献出版社1992年；《电脑化人脑 神经网络-第六代计算机》-作者是以美国国父乔治·华盛顿命名的乔治·华盛顿大学的Harold Hwa-Ling Szu斯华龄-曾任INNS主席（他的导师是多次获得诺贝尔物理学奖提名的乌伦贝克、他的师姐是王承书院士和清华王明贞教授），北京大学出版社1993年；《人工神经网络:第六代计算机的实现》，周继成,周青山,韩飘扬，科学普及出版社，1993（还有《第六代计算机信息处理基础——联想记忆原理》，李盘林，姜克隽，卫作人，大连理工大学出版社1991年，它的联想记忆是神经网络的主要领域，而它的第一作者李盘林也是1982年出版的海南琼大师爷R. A. Brualdi的组合数学世界第一名著《组合学导引》的第一译者）；如此，曾一直展望：“现代计算机还能走多远？第六代神经网络计算机是人类的终极追求?”，但看来人们曾经怀抱的期望有些过大，现实是还需要期待更多更深入的探索…

其重要作用除了上面的第六代计算机等外还体现在下面人工智能等领域--更还可参考蔡少堂开创的细胞神经网络和他的忆阻器可模拟突触行为而实现人工智能终极目标的神经形态计算）：

W. Thomas Miller III和强化学习之父Richard S. Sutton以及反向传播算法之父Paul J. Werbos在1990年主编的《Neural networks for control神经网络控制》有Guenther的报道，Tony Owen的报道等（我们琼州大学物理系林雄教授1998年在中国教育部直属重点大学的陕西师大学报增刊的论文引用的4篇文献就有Paul J. Werbos的博士论文、斯华龄的上面书和庄镇泉等的书）最大公约数倍数和表示通式及其应用, 最大公约数的倍数和表示；

图学习各领域书籍特别是图神经网络（Graph Neural Networks，GNN；可参考一个简列表中的“逻辑学与人工智能”的后部分，以及最近机器学习之父Michael I. Jordan和做概率图与圈等的Martin J. Wainwright合撰的《Graphical Models, Exponential Families, and Variational Inference》等）

关于这领域正如“GNN全名图神经网络，这里的G是图（Graph）的意思，GNN之所以重要，是因为图很重要”，也如“GNN里的“图”，正是指图论的“图”。应该说，图神经网络并不是图与机器学习的第一次结合，次结合,机器学习在此之前已经大量使用…”

最近图神经网络风起云涌广受关注如世界人工智能大会举行,专家热议图神经网络与认知智能：就如“图机器学习已成为了机器学习领域中炙手可热的‘明星’”，并且图神经网络（GNN）也许是人工智能（AI）的未来。

下面只举出清华大学3个组的3篇综述和一些著名的GNN论文（其它大学等就不说了也可想而知一、二状况。关于这领域有说在2008年,Franco Scarselli和Marco Gori等人最早提出了图神经网络(GNN)的概念-但其实2005年的Marco Gori等的这篇提出了图神经网络(GNN)-这个不难得到证实，总之是因所需而由神经网络和图论相结合而诞生的）：

Graph Neural Networks: A Review of Methods and Applications，作者：刘知远，孙松茂等（清华大学孙茂松组一文综述GNN。孙松茂是清华大学人工智能研究院常务副院长，该院学术委员会主任由图灵奖得主姚期智院士担任。这领域正如不久前这清华大学人工智能研究院院长张钹院士首次全面阐述第三代人工智能的理念，提出第三代人工智能的发展路径是融合第一代的知识驱动和第二代的数据驱动的人工智能，基于知识图谱的推理体现了第三代人工智能的特点。而图神经网络的研究趋势恰恰是面向推理和认知（张钹院士和他弟弟张铃教授也在1997年合撰出版《人工神经网络理论及应用》。不仅清华搬出姚期智和张钹院士坐镇统帅人工智能，北京大学人工智能研究院院长更由北京大学副校长担任）

A Comprehensive Survey on Graph Neural Networks，Philip S. Yu俞士纶（清华大学数据科学研究院院长）

Deep Learning on Graphs: A Survey, Wenwu Zhu朱文武（清华大学计算机系副主任、信息科学与技术国家研究中心副主任、欧洲科学院外籍院士等）

Relational inductive biases, deep learning, and graph networks，作者：DeepMind、谷歌大脑、MIT等27位作者重磅论文--图网络让深度学习也能因果推理。

Graph-based Evidence Aggregating and Reasoning，孙松茂等； Graph-based Evidence Aggregating and Reasoning for Fact Verification，周界，刘知远等；

有许多视频的斯坦福大学年轻的大牛Jure Leskovec，Recent Advancements in Graph Neural Networks

不需举出过多，在许多专业网上或点击这里可得所索GNN论文.

其中异质图表示学习及神经网络方向最近大受重视并已出版一些专著。

（至于卷积神经网络(CNN)，如“CNN已老,GNN来了！图神经网络(GNN)也许是 AI 的未来”。不仅做为过度应有所掌握且尚有许多可借鉴的生命力

图神经网络的几个很受重视的领域：

1. 图卷积网络（Graph Convolution Networks，GCNs）

2. 图注意力网络（Graph Attention Networks）

3. 图自编码器（Graph Autoencoders）

4. 图生成网络（Graph Generative Networks）

5. 图时空网络（Graph Spatial-Temporal Networks）

随机神经网络（Stochastic neural network）：

可参考最近ClaudioTurchetti出版的书《Stochastic Models of Neural Networks随机神经网络模型》,

随机神经网络向神经网络引进随机变化，一类是在神经元之间分配随机过程传递函数，一类是给神经元随机权重。这使得随机神经网络在优化(Optimization)问题中非常有用，因为随机的变换避免了局部最优(local minima)。由随机传递函数建立的随机神经网络通常被称为波茨曼机(Boltzmann machine)。随机神经网络在风险控制，肿瘤学和生物信息学相关领域均有应用。

图挖掘（graph mining）

图数据库（Graph Database）：

关于这领域，上面清华大学人工智能研究院、清华-中国工程院知识智能联合研究中心联合重磅发布了《人工智能之图数据库》报告：图数据库（Graph Database）是一个基于图论模型的在线数据库管理系统，并目前图数据库的应用已有(1) 金融，保险，电信，医疗，公共安全，情报等部门反欺诈、…(9)等9个典型的图数据库应用场景

图网络(Graph Network, GN)：

再说一个由点集合V=(v₁, v₂, …,v_n)和边集合E=(e₁, e₂, …,e_n) 组成的图网络G(V, E):，它是图神经网络（graph neural network, GNN）和概率图模型（Probabilistic Graphical Model, PGM）的推广（在MGP的Thesis Keyword输入“Probabilistic Graphical Model”见第1篇Probabilistic Graphical Model博士学位论文是Eric Xing(邢波)教授在这里第1哈佛学派Richard Karp等合作指导下于2004年完成的-其实在罗格斯大学杨中枢教授指导下Eric Xing(邢波)1999年已获别的学科博士学位，其后第2篇Probabilistic Graphical Model博士学位论文是Gal Elidan在Nir Friedman指导下于2005年完成的--这Nir Friedman就是1208页的《概率图模型》巨著的第2作者）,

图网络由图网络块（GN block）构成，具有灵活的拓扑结构，可以特化为各类连接主义（connectionist）模型，包括前馈神经网络（Feedforward Neural Network）、递归神经网络（Recursive Neural Network）等

即图网络由相互连接的图网络块（GN block）组成，在神经网络实现中也被称为“节点（node）”。节点间的连接被称为“边（edge）”，表示了节点间的依赖关系。图网络中节点和边的性质与图结构相同，因此可分为有向图（directed graph）和无向图（undirected graph）。有向图的例子包括递归神经网络（Recursive Neural Network）和循环神经网络（Recurrent Neural Network）；无向图的例子包括Hopfield神经网络、马尔可夫网络（Markov Network）等

图网络的每个节点都有内部状态和系统状态，被称为“属性（attribute”。图网络的属性会在计算中按时间步（time-step）更新，更新方式包括同步和异步两种，同步更新时，一个时间步内所有节点的属性都会更新，异步更新时，一个时间步内只有部分节点的属性得到更新.

诚然，图论的作用极多如现在各重要大学纷纷成立“大数据学院”--而有脸书公司创始人兼CEO扎克伯格讲解图论的这文章标题是“图论是理解大数据的关键”--可参看朱小虎总裁翻译的这文章；这个脸书公司无人机项目带领人弗兰克•戴乐特(Frank Dellaert)最近以第一作者和Michael Kaess合写《机器人感知：因子图在SLAM中的应用》--其中的“因子图-Factor graph”就是海南琼州大学在许多领域曾世界领先或先进的图论与概率结合而成的一类概率图论（近代图论之父Claude Berge的世界名著《The theory of graphs and its applications》由李修睦先生译之为《图的理论及其应用》的第11章是“因子图”的第1节是“哈密顿路与回路”和第19章是“半因子图”的第1节是“哈密顿圈与半因子”，但这图论书的因子图和这“机器人感知”书的因子图略有不同，也可参看他的《分数图论》并搞图论和概率的Ullman和S也合著《分数图论》）。

附：YouTube原创剧集《人工智能时代》（这剧由收入曾居福布斯全球演员富豪榜连续三年排名世界第一、并曾主演电影《卓别林》而入围1993年第65届奥斯卡最佳男主角奖的小罗伯特·唐尼主持）；关于神经网络-其应用的主战场是模式识别---此外如我曾百次去的华南理工大学而知是全中国最伟大的冯秉铨教授-他的解放前的研究生后是华南理工大学原副校长的徐秉铮教授和张百灵教授、韦岗教授编著1994年出版的《神经网络理论与应用》的第四章“优化计算的神经网络方法”就讲在哈密尔顿图为主的组合优化问题的应用（徐秉铮教授指导1990年毕业的这博士论文是中国最早一批神经网络博士论文）