在美国数学评论见标题含概率图论probabilistic graph的仅一百多篇这主要是因人工智能论文更喜欢用其它文字的标题且数学评论收录人工智能方面的杂志的论文有限：而这页9、随机图random graph有4千多篇，但其实这两者有很多重叠交叉。不过这页要说的概率图论是最近已获得图灵奖的Judea.Pearl朱迪亚·珀尔提出并发展的概率图模型。通过结点表示随机变量，边表示依赖关系，结合海南琼州大学曾世界领先的图论与概率论进行联合概率分布建模。该模型理论体系包含表示理论、推理理论与学习理论三部分，核心类型分为贝叶斯网络（有向无环图表达因果关系）和马尔可夫随机场（无向图描述相互作用）及其衍生的模型。

概率图模型通过有向图表达条件概率分解，无向图描述势函数乘积关系，因子图可统一表示两种模型特性。推断方法涵盖精确推理（变量消除、信念传播）与近似推理（蒙特卡洛采样、变分推断），参数学习涉及最大似然估计和贝叶斯估计。非参数化方法的发展使模型规模能随数据动态调整，基于狄利克雷过程的混合模型是该领域的典型突破。

该模型自提出以来广泛应用于人工智能以及机器学习还有计算机视觉领域，在视觉目标跟踪中通过粒子滤波和马尔可夫随机场推理提升算法精度，近10年已成为不确定性推理研究的核心方向。

可参考1988年提出改进型隐含马尔可夫模型的清华大学王作英教授的最近2003年博士毕业的欧智坚最近写的《概率图模型理论及应用》其5章依序是：第一章引言、第二章图论模型的表示理论、第三章图论模型的推理理论、第二章图论模型的学习理论、第五章一个综合例子（当然他说“图论模型”是简称即应是概率图模型）。

可参考萌芽时期的早期相关工作：Nes̆etr̆il, Jaroslav; Rödl, Vojtěch. On a probabilistic graph-theoretical method. Proc. Amer. Math. Soc. 72 (1978), no. 2, 417--421.

Richard M. Karp, Probabilistic analysis of a canonical numbering algorithm for graphs，Proc. Sympos. Pure Math., 1978), pp. 365--378

D. L. Greenwell, D. G. Hoffman, On a probabilistic method in graph theory. J. Combin. Theory Ser. B 31 (1981), no. 3, 344--347.

M. Becker, W. Degenhardt et al., A probabilistic algorithm for vertex connectivity of graphs. Inform. Process. Lett. 15 (1982), no. 3, 135--136.

Zvi Galil, Christof M. Hoffmann et al., An O(n3logn) deterministic and an O(n3) probabilistic isomorphism test for trivalent graphs.23rd annual symposium on foundations of computer science (Chicago, Ill., 1982), 118–125

Tsuyoshi Kawaguchi et al., Probabilistic analysis of a heuristic graph coloring algorithm. Electron. Comm. Japan 65 (1982), no. 6, 12—18；

Marco Protasi, Maurizio Talamo, A new probabilistic model for the study of algorithmic properties of random graph problems. Foundations of computation theory (Borgholm, 1983), 360—367；

A. Marchetti-Spaccamela, M. Talamo, Probabilistic analysis of graph colouring algorithms. CAAP '83 (L'Aquila, 1983), 332—340；

G. O. H. Katona, Probabilistic inequalities from extremal graph results (a survey). Random graphs '83 (Poznań, 1983), 159--170,

Patrick Jaillet, On some probabilistic combinatorial optimization problems defined on graphs. Flow control of congested networks (Capri, 1986), 255—267；

Ludek Kuchera, Probabilistic analysis of graph coloring. (Russian) Applied mathematics, No. 5 (Russian), 91--95, 132—133；

S. James Press詹姆士·普雷斯独撰的1989年出版的237页《Bayesian statistics: principles, models, and applications》被翻译文中文版《贝叶斯统计学：原理、模型及应用》1992年由中国统计出版社出版；

张尧庭、陈汉峰合撰的《贝叶斯统计推断》,科学出版社1991年；

詹原瑞独撰的《影响图的理论方法与应用》,天津大学出版社1995年

集大成者奠基工作：Judea.Pearl朱迪亚·珀尔(也称犹大·伯尔)独撰的552页的高被引专著Probabilistic reasoning in intelligent systems: networks of plausible inference. The Morgan Kaufmann Series in Representation and Reasoning. Morgan Kaufmann, San Mateo, CA, 1988. {\rm xx}+552 pp（Stig Kjær Andersen在《A rtificial Intelligence人工智能》杂志48(1991),1:117-124的评论开头所说“Judea Pearl’ book, Probabilistic reasoning in intelligent systems: networks of plausible inference, offers a comprehensive and coherent discussion of important resilts of the Renaissance of the probabilistic approach to reasoning under uncertainty in AI. It is a book for which the author should be highly credited. Judea has dedicated himself to presenting all aspects of a graph representation（图论表示的所有方面） of the Bayesian Probabilistic inference constituted by belief-network formalism.…”）

Judea Pearl朱迪亚·珀尔(也称犹大·伯尔), On summarizing data using probabilistic assertions. IEEE Trans. Inform. Theory IT-23 (1977), no. 4, 459--465.

以及这里贝叶斯网的的很多Judea Pearl犹大·伯尔等先驱们的概率图论模型论文资料如：R-236，Judea Pearl，“Graphical Models for Probabilistic and Causal Reasoning”, UCLA Computer Science Department, Technical Report (R-236), June 1996年；

Judea.Pearl朱迪亚·珀尔(也称犹大·伯尔),. Graphs, structural models, and causality. Computation, causation, and discovery, 95--138, 1999；

Judea Pearl朱迪亚·珀尔(也称犹大·伯尔), Statistics, causality, and graphs. Causal models and intelligent data management, 3--16, Springer, Berlin, 1999；

Judea.Pearl朱迪亚·珀尔(也称犹大·伯尔), 384页的世界名著Causality. Models, reasoning, and inference. Cambridge University Press, Cambridge, 2000. xvi+384 pp

可参考牛津大学Steffen Lauritzen教授独撰的298页的《Graphical models图论模型》一书. Oxford: Clarendon Press，1996年（他在1983年就和哈佛博士Nanny Wermuth合作图论模型和递归模型的论文，在美国数学评论更见他其后的1989年更是独撰或合作4篇图论模型的论文）。

二十世纪数学家排名第一的数学家Andrei N. Kolmogorov的博士Yuri A. Rozanov独撰的《Markov random fields马尔可夫随机场》被Constance M. Elson翻译1982年出版的英文版一书，等等。

即概率图型模型结合概率论与图论的知识，利用图来表示与模型有关的变量的联合概率分布（它主要包括贝叶斯网络和马尔可夫网络，可参考最近Martin J. Wainwright和Michael I. Jordan合撰的《Graphical Models, Exponential Families, and Variational Inference》-其发表在后者Michael I. Jordan主编的Foundations and Trends in Machine Learning杂志创刊号的第一篇并它长达305页-其与图论的关系正如它的引言开头说“Graphical Models bring together with graph theory and probability theory in a powerful formalism for multivariate statistical modeling”--Michael I. Jordan已是美国三院院士但誉为机器学习之父似乎有点过，这个Foundations and Trends in Machine Learning杂志的影响因子高达20多而其它机器学习杂志的影响因子到不到5）：

其中关于贝叶斯网络（Bayesian network），也称有向无环图论模型(directed acyclic graphical model)，是一种概率图模型，它是概率论与图论相结合的产物，国内也已有一些有利于深入研读的贝叶斯网络著作（这里有一个英文网站），最近有“概率图模型研究进展综述”、“概率图模型学习技术研究进展”等），还可参考David Bellot，Luis Enrique Sucar，Ankur Ankan和 Abinash Panda，Christine Sinoquet和Raphaël Mourad，Kiran R Karkera等这5本概率图模型专著）

可参考象哈佛大学教授Sharon-Lise T. Normand的1990年的博士论文就做贝叶斯网络、Wai Lam的1994年的博士论文也做贝叶斯网络、Judea Pearl朱迪亚·珀尔的博士David M. Chickering在1996年的博士论文也做贝叶斯网络、1998年有Daphne Koller的博士Alexander V. Kozlov、Geoffrey G. Zweig、Chao-Lin Liu、1999年有华人计算机视觉鼻祖黄煦涛院士的博士Vladimir Ivan Pavlovic、Stefano Monti等。

贝叶斯网络是加大洛杉矶分校George Rebane在博士尚未毕业时和该校最近获得计算机诺贝尔奖的Judea Pearl在1987年的不确定性会议发表的论文“The Recovery of Causal Poly-trees from Statistical Data”中提出。虽然在1987年已提出，但在我国期刊网见我国是自1999年才开始出现这方面论文的（附计算机诺贝尔奖的Judea Pearl最先在1982年提出的置信传播算法(Belief Propagation)，）

这polytree英文网还说上面2人还在上面论文中创造“polytree”--而其实这个概念就是我们图论学科的“有向树”，可见他们创造贝叶斯网络的主要出发点是围绕寻找图论理论做为其创立和发展的理论基础。

贝叶斯网络一方面是用图论的语言直观揭示问题的结构。但就象图论的各分支也有相应理论一样，使这贝叶斯网络另一方面按照概率论的原则对问题的结构加以利用，降低推理的计算复杂度，为解决不确定问题提供了一种直观易懂的方法。最下面3段见贝叶斯网已成功应用于工业、农业、生物、医疗和军事等各个领域，并产生了显著的经济效益和社会效益。因此,对于贝叶斯网的进一步研究具有重要的理论意义和实用价值。

贝叶斯网络是一种图论概率网络，它是基于概率推理的图形化网络，而贝叶斯公式则是这个概率网络的基础。它借由有向无环图(directed acyclic graphs)中得知一组随机变量{X₁,X₂,…X_n}及其n组条件概率分配(conditional probability distributions)的性质

由P(A|B)= P(AB)/(B)，如果事件A₁, A₂, …A_n,…两两不相容，BÌÈ_i=1^¥A_i，则容易得到当P(B)>0时的贝叶斯公式P(A_i|B)= P(A_i) P(B|A_i)/[å_i=1^¥ P(A_i)P(B|A_i)]。最常用到的贝叶斯公式是当P(B)>0时，P(A|B)= P(A)P(B|A)/( P(A)P(B|A) +P(A^-)P(B|A^-))。由P(A|B)= P(AB)/(B)，也容易推出这贝叶斯公式P(A|B)= P(A)P(B|A)/P(B)，从这式，我们用随机变量的密度函数简单叙述一下这式的贝叶斯公式的密度函数形式，即p(q|x)= h(x,q)/m(x)=P(x|q)p(q)/ò_qÎQ P(x|q)p(q)dq。其中q为所要估计的参数；Q为相应的参数空间；p(q)是根据参数q的先验信息确定的先验分布；而p(q|x)是在观测样本x的条件下q的条件分布，也称为q的后验分布；P(x|q)表示在随机变量q给定某值时，总体指标x的条件分布；h(x,q)表示样本x和参数q的联合分布；m(x)是x的边缘密度函数。

一般而言，贝叶斯网络的有向无环图中的节点表示随机变量，它们可以是可观察到的变量，抑或是隐变量、未知参数等。连接两个节点的箭头代表此两个随机变量是具有因果关系或是非条件独立的；而节点中变量间若没有箭头相互连接一起的情况就称其随机变量彼此间为条件独立。若两个节点间以一个单箭头连接在一起，表示其中一个节点是“因(parents)”，另一个是“果(descendants or children)”，两节点就会产生一个条件概率值。比方说,我们以X_i表示第i个节点，而X_i的“因”以P_i表示，X_i的“果”以C_i表示；

大部分的情况下，贝叶斯网络适用在节点的性质是属于离散型的情况下，且依照P(X_i|P_i)此条件概率写出条件概率表(conditional probability table,)，此条件概率表的每一行(row)列出所有可能发生的P_i，每一列(column)列出所有可能发生的X_i，且任一行的概率总和必为1。写出条件概率表后就很容易将事情给条理化，且轻易地得知此贝叶斯网络结构图中各节点间之因果关系；但是条件概率表也有其缺点：若是节点X_i是由很多的“因”所造成的“果”，如此条件概率表就会变得在计算上既复杂又使用不便。

定义：令G = (I,E)表示一个有向无环图(directed acyclic graph, DAG)，其中I代表图形中所有的节点的集合，一般由n个节点X₁, X₂,…X_n组成，每个节点对应一个随机变量。而E代表有向连接线段的集合，且令X = (X_i)_{i ∈ I}为其有向无环图中的某一节点i所代表之随机变量，若节点X的联合概率分配可以表示成:

P(x)=Õ_iÎIP(x_i|x_pa(i))

则称X为相对于一有向无环图G 的贝叶斯网络，其中pa(i)表示节点i之“因”。

对任意的随机变量，其联合分配可由各自的局部条件概率分配相乘而得出：

P(x_i|X₁=x₁,X₂=x₂,…X_n=x_n))= Õ_i=1 ⁿP(X_i=x_i| X_i+1=x_i+1,…X_n=x_n)

依照上式，我们可以将一贝叶斯网络的联合概率分配写成：

P(X₁=x₁,X₂=x₂,…X_n=x_n))= Õ_i=1 ⁿP(X_i=x_i| X_j=x_j，对每个相对于变量X_i的“因”变量X_j 而言)

上面两个表示式之差别在于条件概率的部分，在贝叶斯网络中，若已知其“因”变量下，某些节点会与其“因”变量条件独立，只有与“因”变量有关的节点才会有条件概率的存在。

方面图一就是一种典型的贝叶斯网络结构图，依照先前的定义，我们就可以轻易的从图一可以得知：P₂={X₄,X₅},C₂={X₁}, P₄=Æ, C₄={X₂,X₅},=P₁={X₂,X₃}, C₁=Æ.

贝叶斯网络具有如下特性： 贝叶斯网络本身是一种不定性因果关联模型。它与其他决策模型不同，它本身是将多元知识图解可视化的一种概率知识表达与推理模型，更为贴切地蕴含了网络节点 变量之间的因果关系及条件相关关系；它具有强大的不确定性问题处理能力。贝叶斯网络用条件概率表达各个信息要素之间的相关关系，能在有限的，不完整的，不确定的信息条件下进行学习和推理；它能有效地进行多源信息表达与融合。贝叶斯网络可将故障诊断与维修决策相关的各种信息纳入网络结构中，按节点的方式统一进行处理，能有效地按信息的相关关系进行融合。

贝叶斯网络的应用（下面照抄已得到公认的来自维基网的“应用”，翻译跟着在下段。从下面3方面看到的应用，可知贝叶斯网络在许多能忽悠的时髦学科领域的应用正方兴未艾）

Bayesian networks are used for modelling knowledge in computational biology and bioinformatics (gene regulatory networks, protein structure, gene expression analysis,^[16] sports betting,^[17][18] learning epistasis from GWAS data sets ^[19]) medicine,^[20] biomonitoring,^[21] document classification, information retrieval,^[22] semantic search,^[23] image processing, data fusion, decision support systems,^[24] engineering, gaming and law.^[25][26][27]

1、维基网上总结的“应用”：贝叶斯网络已应用在模拟计算生物学 (modelling knowledge in computational biology)与生物信息学(bioinformatics)、基因调控网络(gene regulatory networks)、蛋白质结构(protein structure)、基因表达分析(gene expression analysis)、体育博彩（sports betting）、全基因组关联研究数据集的学习的异位显性（learning epistasis from GWAS data sets）、海洋生物功能基因分析（functional gene analysis of Marine Biology）、医学(medicine)、文件分类(document classification)、信息检索(information retrieval)、语义检索（semantic search）、图像处理（image processing）、数据融合（data fusion）、决策支持系统(decision support systems)、工程学(engineering)、游戏与法律(gaming and law)

2、在我国期刊网上看到的应用：如清华大学校长陈吉宁的《水质污染事故风险评估》--及船舶等某些海上交通风险应用。

3、我在国外相关文献看到它还在下面领域有应用：区域护林决策支持（Haas,1992），渔业资源管理（Danny C. Lee , Bruce , E. Rieman, 1997），人类利用土地与野生鱼类数量及栖息地的关系（Borsuk, Stow, Reckhow, 2002）；水库资源管理决策（Said, Stevens, Sehlke, 2001），农业土地管理和水资源管理（Cain, Jinapala, Makin, Somaratna, Ariyaratna, Perera, 2003），土壤腐蚀预测（Hojsgaard, Rasmussen, Djurhuus, 2003），等等。此外，还有许多应用以及也将肯定可拓展出它在其它领域的新应用）

关于贝叶斯网络，已有好几本中文书籍。相关的中文期刊论文也已有大约300篇，可见期刊网。

关于马尔可夫随机场（无向图描述相互作用）--可参看上面Yuri A. Rozanov独撰的《Markov random fields马尔可夫随机场》一书等等，这里不讲述即除了参看这些马尔可夫随机场书籍外再提供这马尔可夫随机场网页。

及其衍生的模型：隐马尔可夫模型是一种统计分析模型，条件随机场是一种基于判别式概率模型的序列标注方法以及潜在狄利克雷分配等。

刚见一个有些普遍性的提问“因果推断会是下一个AI热潮吗?”