贝叶斯网络Bayesian network),也称有向无环图论模型(directed acyclic graphical model),是一种概率图型模型,它是概率论与图论相结合的产物(这里有一个英文网站)。(这贝叶斯网络和我这个网介绍的马尔可夫网络是最基本的概率图模型-它是图论方法以表现数个独立随机变量之关系的一种建模法。清华出版的概率图书籍也说“作为概率论和图论相结合的产物”。国内也已有一些有利于深入研读的贝叶斯网络专著。综述也不少,最近有“概率图模型研究进展综述”“概率图模型学习技术研究进展”等)(参考斯坦福大学Daphne KollerNir Friedman最近出版的《概率图模型原理与技术》,还可参考David BellotLuis Enrique SucarAnkur Ankan Abinash PandaChristine SinoquetRaphaël MouradKiran R Karkera等这5概率图模型专著)

 

贝叶斯网络是加大洛杉矶分校George Rebane在博士尚未毕业时和该校2011年获得计算机诺贝尔奖的Judea Pearl1987的不确定性会议发表的论文“The Recovery of Causal Poly-trees from Statistical Data”中提出。虽然在1987已提出,但在我国期刊网见我国是自1999年才开始出现这方面论文的(附计算机诺贝尔奖的Judea Pearl最先在1982提出的置信传播算法(Belief Propagation)

polytree英文网还说上面2人还在上面论文中创造polytree”--而其实这个概念就是我们图论学科的“有向树”,可见他们创造贝叶斯网络的主要出发点是围绕寻找图论理论做为其创立和发展的理论基础。

贝叶斯网络一方面是用图论的语言直观揭示问题的结构。但就象图论的各分支也有相应理论一样,使这贝叶斯网络另一方面按照概率论的原则对问题的结构加以利用,降低推理的计算复杂度,为解决不确定问题提供了一种直观易懂的方法。最下面3见贝叶斯网已成功应用于工业、农业、生物、医疗和军事等各个领域,并产生了显著的经济效益和社会效益。因此,对于贝叶斯网的进一步研究具有重要的理论意义和实用价值。

贝叶斯网络是一种图论概率网络,它是基于概率推理的图形化网络,而贝叶斯公式则是这个概率网络的基础。它借由有向无环图(directed acyclic graphs)中得知一组随机变量{X1,X2,Xn}及其n条件概率分配(conditional probability distributions)的性质

P(A|B)= P(AB)/(B),如果事件A1, A2, An,两两不相容,BÌÈi=1¥Ai,则容易得到当P(B)>0时的贝叶斯公式P(Ai|B)= P(Ai) P(B|Ai)/[åi=1¥ P(Ai)P(B|Ai)]。最常用到的贝叶斯公式是当P(B)>0时,P(A|B)= P(A)P(B|A)/( P(A)P(B|A) +P(A-)P(B|A-))。由P(A|B)= P(AB)/(B),也容易推出这贝叶斯公式P(A|B)= P(A)P(B|A)/P(B),从这式,我们用随机变量的密度函数简单叙述一下这式的贝叶斯公式的密度函数形式,即p(q|x)= h(x,q)/m(x)=P(x|q)p(q)/òqÎQ P(x|q)p(q)dq。其中q为所要估计的参数;Q为相应的参数空间;p(q)是根据参数q的先验信息确定的先验分布;而p(q|x)是在观测样本x的条件下q的条件分布,也称为q的后验分布;P(x|q)表示在随机变量q给定某值时,总体指标x的条件分布;h(x,q)表示样本x和参数q的联合分布;m(x)x的边缘密度函数。

一般而言,贝叶斯网络的有向无环图中的节点表示随机变量,它们可以是可观察到的变量,抑或是隐变量、未知参数等。连接两个节点的箭头代表此两个随机变量是具有因果关系或是非条件独立的;而节点中变量间若没有箭头相互连接一起的情况就称其随机变量彼此间为条件独立。若两个节点间以一个单箭头连接在一起,表示其中一个节点是“(parents)”,另一个是“(descendants or children)”,两节点就会产生一个条件概率值。比方说,我们以Xi表示第i个节点,而Xi的“因”以Pi表示,Xi的“果”以Ci表示;

大部分的情况下,贝叶斯网络适用在节点的性质是属于离散型的情况下,且依照P(Xi|Pi)此条件概率写出条件概率表(conditional probability table,),此条件概率表的每一行(row)列出所有可能发生的Pi,每一列(column)列出所有可能发生的Xi,且任一行的概率总和必为1。写出条件概率表后就很容易将事情给条理化,且轻易地得知此贝叶斯网络结构图中各节点间之因果关系;但是条件概率表也有其缺点:若是节点Xi是由很多的“因”所造成的“果”,如此条件概率表就会变得在计算上既复杂又使用不便。

定义:令G = (I,E)表示一个有向无环图(directed acyclic graph, DAG),其中I代表图形中所有的节点的集合,一般由n个节点X1, X2,Xn组成,每个节点对应一个随机变量。E代表有向连接线段的集合,且令X = (Xi)i I为其有向无环图中的某一节点i所代表之随机变量,若节点X的联合概率分配可以表示成:

P(x)=ÕiÎIP(xi|xpa(i))

则称X为相对于一有向无环图G 的贝叶斯网络,其中pa(i)表示节点i

对任意的随机变量,其联合分配可由各自的局部条件概率分配相乘而得出:

P(xi|X1=x1,X2=x2,…Xn=xn))= Õi=1 nP(Xi=xi| Xi+1=xi+1,…Xn=xn)

依照上式,我们可以将一贝叶斯网络的联合概率分配写成:

P(X1=x1,X2=x2,…Xn=xn))= Õi=1 nP(Xi=xi| Xj=xj,对每个相对于变量Xi变量Xj 而言)

上面两个表示式之差别在于条件概率的部分,在贝叶斯网络中,若已知其变量下,某些节点会与其变量条件独立,只有与变量有关的节点才会有条件概率的存在。

方面图一就是一种典型的贝叶斯网络结构图,依照先前的定义,我们就可以轻易的从图一可以得知:P2={X4,X5},C2={X1}, P4=Æ, C4={X2,X5},=P1={X2,X3}, C1=Æ.

贝叶斯网络具有如下特性: 贝叶斯网络本身是一种不定性因果关联模型。它与其他决策模型不同,它本身是将多元知识图解可视化的一种概率知识表达与推理模型,更为贴切地蕴含了网络节点 变量之间的因果关系及条件相关关系;它具有强大的不确定性问题处理能力。贝叶斯网络用条件概率表达各个信息要素之间的相关关系,能在有限的,不完整的,不确定的信息条件下进行学习和推理;它能有效地进行多源信息表达与融合。贝叶斯网络可将故障诊断与维修决策相关的各种信息纳入网络结构中,按节点的方式统一进行处理,能有效地按信息的相关关系进行融合。

贝叶斯网络Applications下面照抄已得到公认的来自维基网的“应用”,翻译跟着在下段。从下面3方面看到的应用,可知贝叶斯网络许多能忽悠的时髦学科领域的应用正方兴未艾

Bayesian networks are used for modelling knowledge in computational biology and bioinformatics (gene regulatory networks, protein structure, gene expression analysis,[16] sports betting,[17][18] learning epistasis from GWAS data sets [19]) medicine,[20] biomonitoring,[21] document classification, information retrieval,[22] semantic search,[23] image processing, data fusion, decision support systems,[24] engineering, gaming and law.[25][26][27]

1、维基网上总结的“应用”:贝叶斯网络已应用在模拟计算生物学 (modelling knowledge in computational biology)生物信息学(bioinformatics)基因调控网络(gene regulatory networks)蛋白质结构(protein structure)基因表达分析(gene expression analysis)、体育博彩(sports betting)、全基因组关联研究数据集的学习的异位显性learning epistasis from GWAS data sets)、海洋生物功能基因分析functional gene analysis of Marine Biology)、医学(medicine)、文件分类(document classification)信息检索(information retrieval)语义检索semantic search)、图像处理image processing)、数据融合data fusion)、决策支持系统(decision support systems)工程学(engineering)游戏与法律(gaming and law)

2我国期刊网上看到的应用:如清华大学校长陈吉宁水质污染事故风险评估--船舶等某些海上交通风险应用

3我在国外相关文献看到它还在下面领域有应用区域护林决策支持Haas,1992),渔业资源管理Danny C. Lee , Bruce , E. Rieman, 1997),人类利用土地与野生鱼类数量及栖息地的关系Borsuk, Stow, Reckhow, 2002);水库资源管理决策Said, Stevens, Sehlke, 2001),农业土地管理和水资源管理Cain, Jinapala, Makin, Somaratna, Ariyaratna, Perera, 2003),土壤腐蚀预测Hojsgaard, Rasmussen, Djurhuus, 2003),等等。此外,还有许多应用以及也将肯定可拓展出它在其它领域的新应用

关于贝叶斯网络已有好几本中文书籍。相关的中文期刊论文也已有大约300篇,可见期刊网