贝叶斯网络(Bayesian network),也称有向无环图论模型(directed acyclic graphical model),是一种概率图型模型,它是概率论与图论相结合的产物(这里有一个英文网站)。(这贝叶斯网络和我这个网介绍的马尔可夫网络是最基本的概率图模型-它是用图论方法以表现数个独立随机变量之关系的一种建模法。清华出版的概率图书籍也说“作为概率论和图论相结合的产物…”。国内也已有一些有利于深入研读的贝叶斯网络专著。综述也不少,最近有“概率图模型研究进展综述”“概率图模型学习技术研究进展”等)(参考斯坦福大学Daphne Koller和Nir Friedman最近出版的《概率图模型原理与技术》,还可参考David Bellot,Luis Enrique Sucar,Ankur Ankan和 Abinash Panda,Christine Sinoquet和Raphaël
Mourad,Kiran
R Karkera等这5本概率图模型专著)
贝叶斯网络是加大洛杉矶分校George Rebane在博士尚未毕业时和该校2011年获得计算机诺贝尔奖的Judea Pearl在1987年的不确定性会议发表的论文“The Recovery of Causal Poly-trees from
Statistical Data”中提出。虽然在1987年已提出,但在我国期刊网见我国是自1999年才开始出现这方面论文的(附计算机诺贝尔奖的Judea Pearl最先在1982年提出的置信传播算法(Belief Propagation),)
这polytree英文网还说上面2人还在上面论文中创造“polytree”--而其实这个概念就是我们图论学科的“有向树”,可见他们创造贝叶斯网络的主要出发点是围绕寻找图论理论做为其创立和发展的理论基础。
贝叶斯网络一方面是用图论的语言直观揭示问题的结构。但就象图论的各分支也有相应理论一样,使这贝叶斯网络另一方面按照概率论的原则对问题的结构加以利用,降低推理的计算复杂度,为解决不确定问题提供了一种直观易懂的方法。最下面3段见贝叶斯网已成功应用于工业、农业、生物、医疗和军事等各个领域,并产生了显著的经济效益和社会效益。因此,对于贝叶斯网的进一步研究具有重要的理论意义和实用价值。
贝叶斯网络是一种图论概率网络,它是基于概率推理的图形化网络,而贝叶斯公式则是这个概率网络的基础。它借由有向无环图(directed acyclic graphs)中得知一组随机变量{X1,X2,…Xn}及其n组条件概率分配(conditional
probability distributions)的性质
由P(A|B)= P(AB)/(B),如果事件A1, A2, …An,…两两不相容,BÌÈi=1¥Ai,则容易得到当P(B)>0时的贝叶斯公式P(Ai|B)=
P(Ai) P(B|Ai)/[åi=1¥ P(Ai)P(B|Ai)]。最常用到的贝叶斯公式是当P(B)>0时,P(A|B)=
P(A)P(B|A)/( P(A)P(B|A)
+P(A-)P(B|A-))。由P(A|B)=
P(AB)/(B),也容易推出这贝叶斯公式P(A|B)=
P(A)P(B|A)/P(B),从这式,我们用随机变量的密度函数简单叙述一下这式的贝叶斯公式的密度函数形式,即p(q|x)= h(x,q)/m(x)=P(x|q)p(q)/òqÎQ P(x|q)p(q)dq。其中q为所要估计的参数;Q为相应的参数空间;p(q)是根据参数q的先验信息确定的先验分布;而p(q|x)是在观测样本x的条件下q的条件分布,也称为q的后验分布;P(x|q)表示在随机变量q给定某值时,总体指标x的条件分布;h(x,q)表示样本x和参数q的联合分布;m(x)是x的边缘密度函数。
一般而言,贝叶斯网络的有向无环图中的节点表示随机变量,它们可以是可观察到的变量,抑或是隐变量、未知参数等。连接两个节点的箭头代表此两个随机变量是具有因果关系或是非条件独立的;而节点中变量间若没有箭头相互连接一起的情况就称其随机变量彼此间为条件独立。若两个节点间以一个单箭头连接在一起,表示其中一个节点是“因(parents)”,另一个是“果(descendants or
children)”,两节点就会产生一个条件概率值。比方说,我们以Xi表示第i个节点,而Xi的“因”以Pi表示,Xi的“果”以Ci表示;
大部分的情况下,贝叶斯网络适用在节点的性质是属于离散型的情况下,且依照P(Xi|Pi)此条件概率写出条件概率表(conditional probability table,),此条件概率表的每一行(row)列出所有可能发生的Pi,每一列(column)列出所有可能发生的Xi,且任一行的概率总和必为1。写出条件概率表后就很容易将事情给条理化,且轻易地得知此贝叶斯网络结构图中各节点间之因果关系;但是条件概率表也有其缺点:若是节点Xi是由很多的“因”所造成的“果”,如此条件概率表就会变得在计算上既复杂又使用不便。
定义:令G
= (I,E)表示一个有向无环图(directed acyclic
graph, DAG),其中I代表图形中所有的节点的集合,一般由n个节点X1, X2,…Xn组成,每个节点对应一个随机变量。而E代表有向连接线段的集合,且令X = (Xi)i
∈ I为其有向无环图中的某一节点i所代表之随机变量,若节点X的联合概率分配可以表示成:
P(x)=ÕiÎIP(xi|xpa(i))
则称X为相对于一有向无环图G 的贝叶斯网络,其中pa(i)表示节点i之“因”。
对任意的随机变量,其联合分配可由各自的局部条件概率分配相乘而得出:
P(xi|X1=x1,X2=x2,…Xn=xn))= Õi=1 nP(Xi=xi| Xi+1=xi+1,…Xn=xn)
依照上式,我们可以将一贝叶斯网络的联合概率分配写成:
P(X1=x1,X2=x2,…Xn=xn))= Õi=1 nP(Xi=xi| Xj=xj,对每个相对于变量Xi的“因”变量Xj 而言)
上面两个表示式之差别在于条件概率的部分,在贝叶斯网络中,若已知其“因”变量下,某些节点会与其“因”变量条件独立,只有与“因”变量有关的节点才会有条件概率的存在。
方面图一就是一种典型的贝叶斯网络结构图,依照先前的定义,我们就可以轻易的从图一可以得知:P2={X4,X5},C2={X1}, P4=Æ, C4={X2,X5},=P1={X2,X3}, C1=Æ.
Bayesian networks are used for modelling knowledge in computational biology and bioinformatics
(gene regulatory networks, protein
structure, gene expression analysis,[16] sports betting,[17][18] learning epistasis from GWAS data sets
[19]) medicine,[20] biomonitoring,[21] document classification, information retrieval,[22] semantic
search,[23] image
processing, data fusion, decision support systems,[24] engineering,
gaming and law.[25][26][27]
第1、维基网上总结的“应用”:贝叶斯网络已应用在模拟计算生物学 (modelling knowledge in computational biology)与生物信息学(bioinformatics)、基因调控网络(gene regulatory
networks)、蛋白质结构(protein structure)、基因表达分析(gene
expression analysis)、体育博彩(sports betting)、全基因组关联研究数据集的学习的异位显性(learning epistasis from GWAS
data sets)、海洋生物功能基因分析(functional gene
analysis of Marine Biology)、医学(medicine)、文件分类(document classification)、信息检索(information retrieval)、语义检索(semantic search)、图像处理(image processing)、数据融合(data fusion)、决策支持系统(decision support
systems)、工程学(engineering)、游戏与法律(gaming
and law)
第2、在我国期刊网上看到的应用:如清华大学校长陈吉宁的《水质污染事故风险评估》--及船舶等某些海上交通风险应用。
第3、我在国外相关文献看到它还在下面领域有应用:区域护林决策支持(Haas,1992),渔业资源管理(Danny
C. Lee , Bruce , E. Rieman,
1997),人类利用土地与野生鱼类数量及栖息地的关系(Borsuk,
Stow, Reckhow, 2002);水库资源管理决策(Said,
Stevens, Sehlke, 2001),农业土地管理和水资源管理(Cain,
Jinapala, Makin, Somaratna, Ariyaratna, Perera, 2003),土壤腐蚀预测(Hojsgaard,
Rasmussen, Djurhuus, 2003),等等。此外,还有许多应用以及也将肯定可拓展出它在其它领域的新应用)