高斯混合模型（GMM）

高斯混合模型（GMM）

高斯混合模型（GMM）是一种基于概率模型的聚类算法，通过多个高斯分布的加权组合来描述复杂数据分布。以下从核心概念、参数求解及实际应用展开说明：

几何理解：GMM由多个高斯分布叠加而成，每个分布对应一个子簇。例如，二维数据中两个高斯分布的混合可拟合双峰分布（如图所示），每个样本点以不同概率属于各子簇。

数学表达：GMM的概率密度函数为各高斯分量的加权和：

其中，( alpha_j ) 为第 ( j ) 个分量的权重（( sum_{j=1}^M alpha_j = 1 )），( N(mathbf{x}|mu_j, C_j) ) 为第 ( j ) 个高斯分布的概率密度函数。

GMM参数（( mu_j, C_j, alpha_j )）通过EM算法迭代优化：

协方差矩阵 ( C_j ) 设为单位矩阵，权重 ( alpha_j = 1/M )，均值 ( mu_j ) 随机选取。

计算样本 ( mathbf{x}_i ) 属于第 ( j ) 个分量的后验概率（责任值）：

其中 ( N(mathbf{x}_i|mu_j^{(t)}, C_j^{(t)}) ) 为当前参数下的高斯分布值。

更新参数：

权重：( alpha_j^{(t+1)} = frac{sum_{i=1}^N gamma_{ij}}{N} )

均值：( mu_j^{(t+1)} = frac{sum_{i=1}^N gamma_{ij} mathbf{x}i}{sum{i=1}^N gamma_{ij}} )

协方差：( C_j^{(t+1)} = frac{sum_{i=1}^N gamma_{ij} (mathbf{x}i - mu_j^{(t+1)})(mathbf{x}i - mu_j^{(t+1)})^T}{sum{i=1}^N gamma{ij}} )

当参数变化量 ( Delta theta < epsilon )（如 ( epsilon=10^{-6} )）时终止迭代。

假设数据包含两个子簇（如身高与体重的联合分布）：

GMM通过EM算法高效拟合复杂分布，适用于聚类、异常检测等任务。其优势在于能处理非球形簇，但需注意初始化敏感性和计算复杂度。实际应用中可通过调整分量数量 ( M ) 和协方差矩阵结构来平衡灵活性与效率。