General Linear Model

指数分布族

如果一个概率分布可以写成如下形式，则这个概率分布是指数分布族，如常见的高斯(正态)分布、几何分布、泊松分布、伯努利分布等。对于分布符合指数分布族的随机变量，我们可以得到他们的GLM。

记为y $\sim$ ExpFamily($𝜂$)，其中$𝜂$被称为natural parameter，T(y)是sufficient statistic(充分统计量)，一般情况下，T(y)=y。且有$𝐸\left(𝑦\right)={𝑎}^{\prime }\left(𝜂\right)$和$\text{Var}\left(𝑦\right)={𝑎}^{″}\left(𝜂\right)$。

举两个例子：

正态分布

正态分布的概率密度如下:

所以可令:

伯努利分布

可以写成以下形式:

所以可以令:

同时可以得到

所以:

General Linear Model

要得到一个随机变量的GLM，我们需要以下三个假设：

1. y|x; $𝜃$ $\sim$ ExpFamily($𝜂$)
2. 对于给定的x，我们的目标是输出$𝐸[𝑇\left(𝑦\right)|𝑥]$
3. $𝜂={𝜃}^{𝑇}𝑥,\text{if}𝜂\in ℝ$, ${𝜂}_{𝑖}={𝜃}_{𝑖}^{𝑇}𝑥,\text{if}𝜂\in {ℝ}^{𝑛},𝑛>1$

有以上三个假设，对于某个随机变量，我们只需要假定它属于某个特定的指数分布族，我们就可以得到它的hypothesis函数和cost函数，从而使用Gradient Descent或者牛顿法等算法求得hypothesis函数的参数。其中cost函数是利用极大似然法(maximum likelihood method)得到的。

线性回归

对于线性回归问题，我们需要用一个线性函数拟合训练集合，所以我们可以假设:

这里${𝜖}^{𝑖}$是误差项，我们假定${𝜖}^{𝑖}$是独立同分布的，且有${𝜖}^{𝑖}\sim 𝑁\left(0,{𝜎}^2\right)$，所以有:

根据正态分布的指数分布族形式，有:

同时对于m组训练数据，用极大似然法进行参数估计，可得:

在实际应用中，我们常设$𝜎=1$，所以上式为:

要使$𝑙\left(𝜃\right)$最大，等价于使$\frac{1}{2}{\sum }_{𝑖=1}^{{𝑚\left({𝑦}^{𝑖}-{𝜃}^{𝑇}{𝑥}^{𝑖}\right)}^2}$最小，而这项正是我们线性回归问题中的cost函数。

逻辑回归

在逻辑回归问题中，我们假设$𝑦\sim \text{Bernoulli}\left(𝜙\right)$，所以:

而$𝜂={𝜃}^{𝑇}𝑥$，故:

同样，对于我们的m组训练数据，用极大似然法进行参数估计，有:

要使$𝑙\left(𝜃\right)$最大，等价于使$-𝑙\left(𝜃\right)$最小，可以看到这正是我们做逻辑回归时用到的cost函数，即$𝐽\left(𝜃\right)=-𝑙\left(𝜃\right)$。

Summary

我们还可以推出其他概率分布的模型，在整个过程中，我们只需要假定我们的随机变量服从某个指数分布族，其他的步骤都可以非常自然的得到，最终可以得到对应的指数分布族。