马尔可夫随机场(Markov Random Field),是一种重要的概率图模型。马尔可夫随机场是建立在马尔可夫模型和贝叶斯理论基础之上的,它包含两层意思:一是什么是马尔可夫性质,二是什么是随机场。马尔可夫随机场(无向图描述相互作用),衍生模型包括隐马尔可夫模型条件随机场和潜在狄利克雷分配模型

其中马尔可夫性质:它指的是一个随机变量序列按时间先后关系依次排开的时候,第N+1时刻的分布特性,与N时刻以前的随机变量的取值无关。拿天气来打个比方。如果我们假定天气是马尔可夫的,其意思就是我们假设今天的天气仅仅与昨天的天气存在概率上的关联,而与前天及前天以前的天气没有关系。其它如传染病和谣言的传播规律,就是马尔可夫的。

随机场:当给每一个位置中按照某种分布随机赋予相空间的一个值之后,其全体就叫做随机场。我们不妨拿种地来打个比方。其中有两个概念:位置(site),相空间(phase space)。位置好比是一亩亩农田;相空间好比是种的各种庄稼。我们可以给不同的地种上不同的庄稼,这就好比给随机场的每个位置,赋予相空间里不同的值。所以,俗气点说,随机场就是在哪块地里种什么庄稼的事情。

马尔可夫随机场:马尔科夫随机场是具有马尔科夫特性的随机拿种地打比方,如果任何一块地里种的庄稼的种类仅仅与它邻近的地里种的庄稼的种类有关,与其它地方的庄稼的种类无关,那么这些地里种的庄稼的集合,就是一个马尔可夫随机场。

马尔可夫随机场,也叫马尔可夫网。也就是无向图模型,是一种基于无向图表示随机变量之间依赖关系的概率图模型。无向图模型有一个简单的独立定义:两个节点集AB都与给定的第三个节点集C相互条件独立,AB节点之间的路径都被C中的节点分开。

相比之下,有向图模型也叫贝叶斯网络(Bayesian networks)或信念网络(Belief Networks),有向图模型有一个更复杂的独立性观念。

形式上,一个马尔可夫网络包括:马尔可夫网络Markov network)是关于一组有马尔可夫性质随机变量X的全联合概率分布模型(这马尔可夫网络和我这个网介绍的贝叶斯网络是基本的概率图模型-图论方法以表现数个独立随机变量之关系的一种建模法。清华出版的概率图书籍也说“作为概率论和图论相结合的产物”。下面定义基于的无向图就是图论通常所指的图;另一类是有向图,其理论方法技术等可从无向图类推)(参考斯坦福大学Daphne KollerNir Friedman最近出版的《概率图模型原理与技术》,还可参考David BellotLuis Enrique SucarAnkur Ankan Abinash PandaChristine SinoquetRaphaël MouradKiran R Karkera等这5概率图模型专著)

马尔可夫网络类似贝叶斯网络用于表示依赖关系。但是,一方面它可以表示贝叶斯网络无法表示的一些依赖关系,如循环依赖;另一方面,它不能表示贝叶斯网络能够表示的某些关系,如推导关系。马尔可夫网络的原型是易辛模型,最初是用来说明该模型的基本假设。

定义:形式上,一个马尔可夫网络包括:

联合分布(吉布斯测度)用马尔可夫网络可以表示为:

P(X=x)= (1/Z)Õk fk (x{k})

其中x=x{1}x{2}x{3} …是向量,x{k}= x{k,1}x{k,2}…x{k,3|ck|}是随机变量x在第k个团的状态(|ck|是在第k个团中包含的节点数。),乘积包括了图中的所有团。注意马尔可夫性质在团内的节点存在,在团之间是不存在依赖关系的。这里,Z是配分函数,有  Z=∑xÎXÕk fk (x{k}).

实际上,马尔可夫网联络经常表示为对数线性模型。通过引入特征函数Фk,得到fk=exp(wkТФk(x{k}))

  P(X=x)= (1/Z) exp(k wkТФk(x{k}))

以及划分函数

Z=∑xÎX exp(k wkТФk(x{k}))

其中,wk是权重,Фk是势函数,映射团k到实数。这些函数有时亦称为吉布斯势;术语 源于物理,通常从字面上理解为在临近位置产生的势能。

对数线性模型是对势能的一种便捷的解释方式。一个这样的模型可以简约的表示很多分布,特别是在领域很大的时候。另一方面,负的似然函数是凸函数也带来便利。但是即便对数线性的马尔可夫网络似然函数是凸函数,计算似然函数的梯度仍旧需要模型推理,而这样的推理通常是难以计算的。

 马尔可夫性质

  马尔可夫网络有这样的马尔可夫性质:图的顶点u在状态Xu的概率只依赖顶点u的最近临节点,并且顶点u对图中的其他任何节点是条件独立的。该性质表示为

P(Xu= xu | Xv, v¹u)= P(Xu= xu | Xv, vÎNu)

顶点u的最近临节点集合Nu 也称为顶点u马尔可夫

     由于马尔可夫网络不断的改进发展完善和不断产生许多重要作用,最近,许多类型的马尔可夫网络也已被提出,例如混合记忆马尔可夫模型和因式化隐马尔可夫模型

关于马尔可夫网络相关的中文期刊论文可见期刊网,如计算机学报的《具有丢失数据的可分解马尔可夫网络结构学习》,特别是在《中文信息学报》 发表了信息检索”应用方面的系列论文,作者虽不是来自名牌大学但获得中国中文信息学会2012年度学会唯一工作优秀奖

 

参考马尔可夫随机场--一种概率图模型(维基网Markov random field.应结合参考这里的这里的随机网络,这里的马尔可夫模型理论等