机器学习:其最权威经典的教材至今仍首海南琼州大学师祖叔Tom Mitchell 独撰的《机器学习》。众所周知,机器学习人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域,它主要使用归纳、综合而不是演绎(当然这里我们琼州大学集成电路商用民用化之初被清华大学邀请参与的集成电路芯片也是推动人工智能技术发展的主要源头。众所周知,机器学习及人工智能图论的关系广泛而密切,可看这个网页及许多著名博士学位论文等等,下面也分别列出一些(就如我们琼州大学林越教授的硕士导师\2007年就任广东省政协常委并在这年的1119日来信评说我们海南琼州大学得到重要成果,达到国际领先水平”的樊教授就做机器学习)

机器学习目前已发展成一个广袤的神化的学科,使人工智能成为当今全球最火热的领域-人工智能最近更被中国发挥到疯狂之至下面介绍它的其中较流行的约30个密切的领域,难怪AAAI某院士说已经不可能有人对它的很多领域都精通,可参考维基网我还看到中国计算机学会人工智能与模式识别专业委员会一个副主任(一直在高校工作)但至今的论文仅几十篇而且全是下面其中一个领域的,甚感慨和有某些感想!比如深度学习,我在下面就列出一些专门的研究院,而这副主任还不是做深度学习的(可见更不可能精通下面30个领域或方向)。虽然现在已涌现出如此很多的机器学习的新分支,但上面海南琼大师爷叔Tom Mitchell 的经典教材至今仍有研读的必要

我们先来看机器学习在计算机科学占什么样的地位。最近有一本还没有出版的书Foundation of Data Science是图灵奖得主John HopcroftRavindran Kannan等撰写的,和他俩的这里最后段这本差不多,或可说是其延伸。在这本书前沿部分,提到了计算机科学的发展可以分为三个阶段:早期、中期和当今。早期就是让计算机可以运行起来,其重点在于开发程序语言、编译原理、操作系统,以及研究支撑它们的数学理论。中期是让计算机变得有用,变得高效。重点在于研究算法和数据结构。第三个阶段是让计算机更智能化和更广泛的应用,发展重点是离散数学特别是图论等。我们看到,第三阶段实际上就是机器学习所关心的:

1、谱图学习(参考我的导师柳柏濂教授的教育部批准的中国“1数学研究生教材-也是我国第一本最全面讲授谱图论的专著。中国人工智能学会副理事长焦李成等的专著《自然计算、机器学习与图像理解前沿》说“关于谱图学习,它将数据聚类问题看成是一个无向图的多路划分问题。数据点可以看成是一个无向图G(V, E)的顶点V,加权边的集合E={Wij}表示基于某一相似性度量计算的两点间的相似度。用W表示待聚类数据点间的相似度矩阵,将其看做是该图的邻接矩阵,它包含了聚类所需的所有信息。然后定义一个图划分判断,最优化这一判断使得同一类内的点具有较高的相似性,而不同类之间的点具有较低的相似性”),其重要也可看其中一类应用化的知识图谱如中国计算机学会安全专委会常委公安部徐云峰处长(中国人民公安大学正校长书记程琳当副主任)的“智能时代:用知识图谱来学习和理解世界”说“知识图谱是目前最常用的机器学习方法”“机器学习的实质是从大量数据中学到知识(即深度学习),从与环境的不断交互中学到知识(即强化学习),实现对知识谱进行构建和自动扩展,很大程度上解决了知识表示与自动获取问题。其中的节点代表实体或者概念,的边代表实体/概念之间的各种语义关系,比如说两个实体之间的相似关系。语义网络可以看成是一种用于存储知识的数据结构,即基于的数据结构,其中图可以是有向图,也可以是无向图”。再如在科技日报中国青年报新华网等可见标题为“知识图谱:预见未来的神器”的第一段说“眼下最‘红’的人工智能和大数据,让身边的一切都变得“聪明”起来,Siri会跟你聊天,汽车能实现无人驾驶,机器人也可以问诊看病。而真正让机器能与人类沟通对话的‘幕后英雄’是知识图谱”

其实,我的导师柳柏濂教授在我国开创的谱图理论及图论与机器学习的下面很多方向都有很密切的关系: 

也可参考一些较综述性的谱图理论博士学位论文:如全国优秀博士学位论文提名论文--基于谱图理论的人脸表情识别算法研究”,刚毕业1年零2个月就已是中矿大教授的朱美强的“基于谱图理论的强化学习研究”,“基于图的半监督学习及其应用研究”,“Web信息网络社区挖掘的关键技术研究”,“图上的传播学习研究及应用”,“谱图理论支持下的高分辨率遥感影像多尺度分割研究”,“图谱理论在齿轮箱故障诊断中的应用研究”等

2监督学习特别是图论监督学习这里可知这是他的博士的获诺贝尔奖的学生世界最多的海南琼州大学师爷叔孕育开创的非常重要的机器学习领域-它在近些年来的国内外权威著作和重要机器学习会议都居于重要位置

3、流形学习(Manifold Learning)流形学习已成为机器学习和数据挖掘领域的研究热点。在百度可见“形学习方法是模式识别中的基本方法,分为线性流形学习算法和非线性流形学习算法,非线性流形学习算法包括等距映射(Isomap,拉普拉斯特征映射(Laplacian eigenmapsLE),局部线性嵌入(Locally-linear embeddingLLE) 等。而线性方法则是对非线性方法的线性扩展”)所以,这里只说“线性流形学习算法”-它包括LE(Laplacian eigenmaps即拉普拉斯特征映射),其基本思想是,用一个无向有权图描述一个流形,然后通过用图的嵌入(graph embedding)来找低维表示。简单来说,就是在保持图的局部邻接关系的情况下,将其图从高维空间中重新画在一个低维空间中(graph drawing)。“基于谱图理论的流形学习算法”,“等谱流形学习算法”等等,附一个小综述,一个博客在百度的第2篇参考文献-Mikhail BelkinPartha Niyogi,Laplacian Eigenmaps and Spectral Techniques for Embedding and Clustering5篇参考文献-2Fan Chung Graham--Fan Chung Graham,在人工智能青年专家龚文引的科学网介绍的Mikhail BelkinPartha Niyogi2,

 4贝叶斯机器学习-一类概率图论模型学习(由图灵奖得主Judea Pearl发明创造统计机器学习高引者: Eric Xing(邢波)教授的导师-美国三院院士加大伯克利分校统计人工智能实验室主任Michael I. Jordan也是贝叶斯学习主要奠基人(毕业于哈佛大学的图论专家并获得计算机诺贝尔奖的Richard Karp也是邢波的导师),它是基于概率图论模型的主要分支,斯坦福的Daphne Koller最近出本很好的书、做概率图模型的邢波刚获1500万美元

美元风险投资附贝叶斯网络学习的小综述及一个博士论文)、

 5马尔可夫随机场-一类概率图论模型(可参考斯坦福大学Daphne KollerNir Friedman最近出版的《概率图模型原理与技术》,还可参考David BellotLuis Enrique SucarAnkur Ankan Abinash PandaChristine SinoquetRaphaël MouradKiran R Karkera等这5概率图模型专著);

 6条件随机场Conditional random fieldLafferty等人于2001年提出,结合了最大熵模型和隐马尔可夫模型的特点,是一种无向图模型John LaffertyAndrew McCallum2001年的提出条件随机场的论文 条件随机场入门(一) 概率无向图模型条件随机场() (Conditional random field,CRF图模型)

7遗传算法(Genetic Algorithms)近些年来,遗传算法(Genetic Algorithm)变成人工智能领域的最重要分支之一,也如国际人工智能学会主席海南琼大的祖叔Tom Mitchell的经典《机器学习》第9章是遗传算法,而遗传算法之父就是和我们海南琼州大学合作的导师,这里是中国9本数学研究生用书之一的遗传算法一书的简述

   8强化学习Reinforcement learningRL),就象这里最后说:机器学习算法大致可以分为三种:1. 监督学习,2.非监督学习,3. 强化学习,而强化学习可表示为一个有向图;和海南琼州大学合作的师弟徒孙是强化学习之父、权威

9统计学习Vladimir Vapnik等提出,著名的统计学习专家有Nancy Reid 郁彬是华人中做得较好的一个。当然上面提到的Michael I. Jordan也是主要的统计机器学习的奠基者和推动者,做出突出贡献的统计学习也是被高引论文的专家Larry WassermanJames O Berger范剑青的导师 David L DonohoRobert TibshiraniTrevor Hastie2T合写了统计学习基础5本书在Trevor Hastie的网页可下载,后者和前者的导师高引研究着Bradley Efron大师合撰的一本也可下载,Jerome Friedman院士、S语言的创立者S语言派生的分支R语言的核心成员John Chambers也是合撰者或参与者,这样的大学也已不在乎出售了,他们的一些公开课

它的下面三者是近二十年来很活跃的分支:

    10、深度学习(深度学习算法是人工神经网络的升级版,其算法会搭建规模更大、结构更复杂的神经网络。这种问题的数据一般量极大,而且只有很少部分带有标签,因此很多深度学习方法都涉及下面的半监督学习问题。深度学习的概念由现任Google副总裁级工程师Geoffrey Hinton等人于2006年提出,附几个综述1百度的综述2综述3等)。刚见清华大学计算机系主任朱文武教授等人综述了基于图论的深度学习方法(这仅是基于一篇尚为正式发表的对122篇论文的综述-也有腾讯等转载)

    11、压缩感知(这里第5个给我们海南琼州大学的杂志来信表示支持的诺贝尔奖获得者创造的压缩感知直接催生了人脸认识别的鲁棒主成分分析,除了相关的模式识别、图像处理、医学成像当然它还应用于其它的很多领域)

    12KNN学习K近邻学习,附一个小综述)、

    13、回归学习(附一个小综述)、

    14K-Means(附一个小综述K-means算法是硬聚类算法图论聚类法也是其中较流行较被认可的

    15、决策树学习(附一个小综述常用的决策树算法有分类和回归树、ID3 算法、C4.5 算法等)、

    16Bagging(集成学习的著名代表)

   17Random Forest随机森林指的是利用多棵树对样本进行训练并预测的一种分类器。是Bagging的一个扩展变体。该分类器最早由Leo BreimanAdele Cutler提出,附一个博士论文

18PAC学习(概率近似正确学习由哈佛大学诺贝尔获得者Leslie Valiant1984年提出。由产生了计算学习理论这个机器学习的分支领域。他等提出的VC dimension也使研究无限维假设空间的复杂度成为可能。有限维假设空间

   19Apriori算法(可看这篇简述文章                                                                                                                                                                             

   20增强学习Q-learningQL 附一个小综述)、

   21、稀疏表示(稀疏分解算法首先是由Mallat提出的,也就是匹配追踪算法(Matching Pursuit,MP)算法附一个小综述)、

22EM算法最大期望算法John Tukey的学生Arthur Dempster以及Nan LairdDonald Rubin提出,附一个小综述

   23ART网络(竟争型学习)、

   24SOM网络(自组织映射网络)、

   25、神经网络(神经网络已是一个相当大的多学科交叉的学科领域。这里指的是机器学习与神经网络这两个学科交叉的部分-即神经网络学习)

26SVM方法支持向量机由Vladimir Vapnik等提出,SVM是一种基于统计学习理论的模式识别方法,主要应用于模式识别领域。附一个小综述

   27BP学习多层网络的误差反传back propagation学习算法David RumelhartJames McClelland 提出。多层网络学习能力比单层感知机强得多。感知机由输入和输出两层神经元组成,附一个综述)、

   28RBM学习(受限玻尔兹曼机Geoffrey Hinton提出学深度学习之前一个职院综述)、

  29CNN学习(现任Facebook人工智能实验室主任Lecun等人提出做为深度学习核心的卷积神经网络学习-他说DL的局限是缺乏理论支持、缺乏推理能力、缺乏短时记忆能力、缺乏执行无监督学习的能力,附一个综述)、

  30RBF网络学习(径向基函数网络,附一个综述)、

  31LASSO方法(由Robert Tibshirani提出)

31、字典学习(附一个小综述)、

31AdaBoostboosting算法由 Robert SchapireYoav Freund,提出,Adaboost算法是经过调整的Boosting算法,其能够对弱学习得到的弱分类器的错误进行适应性调整,附一小综述

  32迁移学习这里最后段的迁移学习领域开拓者杨强有一个形象比喻“将骑自行车的经验应用在骑摩托车上,就是迁移学习”他们并利用“迁移学习”技术,将大数据训练出的对话模型迁移到具体行业的小数据领域,实现精准的“人机对话”。“第四范式”创始人戴文渊在百度负责名为“凤巢”的广告营销系统期间,利用“迁移学习”将百度搜索算法应用到问答社区“百度知道”,使后者点击率提升4)、

  33、线性学习(线性判别分析)、多分类学习、度量学习、进化算法遗传算法(Genetic Algorithms)、遗传规划(Genetic Programming)进化策略(Evolution Strategies)和进化规划(Evolution Programming)四种典型方法。仿生进化算法蚁群算法及华工郝志峰副校长等的论文)等等。优化算法专家Stephen P. Boyd

上面从类似的形式或功能角度分类很多学习可被用于从学习方式分类监督学习(指利用一组已知类别的样本调整分类器的参数,使其达到所要求性能的过程。从标记标签的训练数据来推断一个功能的机器学习任务。常用于解决的问题有分类和回归。常用的算法包括逻辑回归和BP神经网络)或无监督学习设计分类器时候,用于处理未被分类标记标签的样本集。常用于解决的问题有聚类、降维和关联规则的学习。常用的算法包括 Apriori 算法和 K 均值算法半监督学习(半监督学习的输入数据包含带标签和不带标签的样本。半监督学习的情形是,有一个预期中的预测,但模型必须通过学习结构整理数据从而做出预测。常用于解决的问题是分类和回归。常用的算法是所有对无标签数据建模进行预测的算法的延伸)

当然,没有严格的区分或划分,它们很多都是交叉重叠的,当然也还有按相对着来命名的如包含支持向量机统计学习是相对于归纳学习等其它机器学习方法说的,

根据方法思想等的类似关系,上面大部分方向可以明确划分为机械式学习、指导式学习、归纳学习、类比学习、解释学习等

    我国人工智能主要开拓者陆汝钤院士最近在清华出版的《机器学习》序言抛出六个问题,问题一是符号学习已很长时间来都被统计学习打压,他问今后会否出现“30年河东,30年河西现象,还是啥样的情况?问题二是他同意王珏教授的看法,统计学习不会一路顺风,因统计学习是基于样本数据独立同分布的假设,而哪有那么多独立同分布,所以,同分布和异分布之间的迁移学习迟早会出现;问题三是近来出现深度学习等势头很猛,但它们真的代表了机器学习的新方向吗?他和这书的作者等认为深度学习掀起的热潮也许大过它本身的真正的贡献,他们的看法很有意思。也许深度学习的应用范围是还有限,但它本身的真正的贡献应是多少?是否尚需要更多认识,但微软、谷歌等等相关国外著名机构和下面国内的百度等都设立专门的深度学习研究院,而

图论在人工智能应用的一些论文:刚见从康大毕业的李开复说他母校的机器学习大神;图谱论大师CvetkovićMan-machine theorem proving in graph theory,这里世界计算机第一名师Blum的儿子的论文Fast planning through planning graph analysisBlum师兄Slagle 2An admissible and optimal algorithm for searching AND/OR graphs Using rewriting rules for connection graphs to prove theorems ,以及GengFast planning through planning graph analysisOA recursive method for structural learning of directed acyclic graphs.等等,

再附斯坦福大学吴恩达(Andrew Ng)教授的公开课:机器学习课程、加州理工学院Yaser Abu-Mostafa教授的公开课:机器学习与数据挖掘等等;百度深度学习研究院蓝凌深度学习研究院平安科技深度学习研究院等等;微软亚洲研究院博客,李航的一些文章等;可参考Stanford的网络公开课《机器学习》、《概率图模型》以及《人工智能》Trevor HastieRobert TibshiraniJerome Friedman的著作,刚见由2个数学硕博士和19岁就已是20万年薪的合创fast.ai

看前序性的人工智能网页、一些世界权威著作