概率图模型之有向图与无向图
图模型用图结构描述随机变量之间的依赖关系，结点表示随机变量，边表示随机变量之间的依赖关系，可以是有向图和无向图。
一 无向图模型
无向图模型又叫马尔可夫网络、马尔可夫随机场，是关于一组有马尔可夫性质随机变量X的全联合概率分布模型。
1 无向图模型的表示
给定包含n个随机变量的问题域
，则定义在问题域U上的无向图模型包括拓扑结构和参数两部分:
Ø 拓扑结构S:节点表示随机变量，两节点之间的连线表示它们之间具有直接的相互影响。
Ø 参数Θ:无向图模型参数是对节点之间相互影响的定量描述。它是拓扑结构S中每个极大完全子图所对应的势函数的集合。其中，极大完全子图(clique)是指不包含于其它完全子图的完全子图（完全子图中任何两节点是直接相连的），势函数
则反映了极大完全子图
的每种可能状态的能量。
2 无向图模型的联合概率分解
利用无向图模型可将图的联合概率分解为一系列因子式。给定无向图模型拓扑结构S和参数Θ之后，问题域U上的联合概率密度函数可写为:
其中N为无向图中极大完全子图的数目。
3 例子：
二 有向图模型
1 一个简单的例子
2 一般情况
考虑任意联合分布 ，通过连续使用乘法规则
利用局部马尔可夫性简化简化：在给定其所有父亲节点的情况下，随机变量X与其非后继条件独立。
其中pai是Xi的父节点集合。
三 有向图模型与无向图模型的对比：
1 共同之处
将复杂的联合分布分解为多个因子的乘积
2 不同之处
有向图模型因子是概率分布、无需全局归一
无向图模型因子是势函数，需要全局归一
3 优缺点
无向图模型中势函数设计不受概率分布约束，
设计灵活，但全局归一代价高
有向图模型无需全局归一、训练相对高效