Page 15 - 《社会》2017年第2期

社会· ２０１７ · ２

和。将公式（ ２ ）用社会统计学教材常用的残差最小化拟合公式来表示，
就是将：
狀 狆
２
ＲＳＳ＝ ∑（ ∑ β 犼 狓 犻 犼 ）
狔 犻－ β ０ －
犻 ＝ １ 犼 ＝ １
改写为：
狆
ＲＳＳ＋λ ∑ β 犼狘 （ ３ ）
狘
犼 ＝ １
在上式中，当 λ＝０ 时，即为常规的 犗犔犛 回归残差项。由于 λ 为非
负数，因此当整个回归模型保留的变量越多，残差惩罚越大，反之则残
差惩罚越小，从 而 λ 作 为 模 型 超 参 数 能 够 控 制 模 型 中 变 量 的 稀 疏
程度。
梅豪森和布尔曼（ 犕犲犻狀狊犺犪狌狊犲狀犪狀犱犅ü犺犾犿犪狀狀 ， ２００６ ）最早将罚似
然回归应用到高斯图模型中，他们实际上是将网络的每一个节点作为
因变量，其他所有节点作为自变量来构建一系列（ 个）回归方程，从而
狆
得到一个近似解。其后，许多研究者提出了不同的求解法。有的学者
（ 犢狌犪狀犪狀犱犔犻狀 ， ２００７ ）借用万德伯格等人（ 犞犪狀犱犲狀犫犲狉 犵 犺犲 ， 犲狋犪犾． ， １９９８ ）
提出的“内点搜索法”（ 犻狀狋犲狉犻狅狉 狆 狅犻狀狋 ）进行求解；贝纳杰等人（ 犅犪狀犲狉 犼 犲犲 ，
犲狋犪犾． ， ２００８ ）则 提 出 用 “分 块 坐 标 递 降 法 ”（ 犫犾狅犮犽狑犻狊犲犮狅狅狉犱犻狀犪狋犲
犱犲狊犮犲狀狋犪 狆狆 狉狅犪犮犺 ）来求解；弗里德曼等人（ 犉狉犻犲犱犿犪狀 ， 犲狋犪犾． ， ２００８ ）在此
基础上进一步提出用坐标递降法（ 犮狅狅狉犱犻狀犪狋犲犱犲狊犮犲狀狋狆 狉狅犮犲犱狌狉犲 ）来求
解，且证明了当 狆＞狀 时，坐标递降法具有很高的计算效率。
所有采用罚则对高斯图模型进行稀疏求解的算法都可被称为图形
罚极大 似 然 法 或 罚 似 然 高 斯 图 模 型 （以 下 简 称 犾犪狊狊狅 或 图 模 型）。
犵
犵 犾犪狊狊狅 模型近年来在基因研究、流行病学等领域被广泛应用，并且模型
进一步从单一高斯图模型扩展为动态图模型（ 犃犺犿犲犱犪狀犱犡犻狀 犵２００９ ；
，
犛狅狀 犵犲狋犪犾． ， ２００９ ）、多组图模型（ 犌狌狅 ， 犲狋犪犾． ， ２０１１ ； 犇犪狀犪犺犲狉 ， 犲狋犪犾． ，
，
２０１４ ）以及 多 层 次 图 模 型 和 潜 变 量 图 模 型 （ 犃犿犫狉狅犻狊犲 ， 犲狋犪犾． ， ２００９ ；
犆犺犪狀犱狉犪狊犲犽犪狉犪狀 ， 犲狋犪犾． ， ２０１２ ）等。本文将在第二节详细介绍扩展模型。
２． 最优参数选择与模型评估
在公式（ ２ ）中，参数 λ 未知且无法通过样本数据对其进行推断，因
此也称之为超参数（ 犺 狔狆 犲狉 狆 犪狉犪犿犲狋犲狉 ），一般采用穷举法进行搜索；若有
多个超参数则可使用网格搜索（ 犌狉犻犱犛犲犪狉犮犺 ）等方法。为了更好地评估

· ８ ·