【分类算法】高斯混合模型(GMM)超详细讲解

高斯混合模型(GMM)和EM算法详解 小白一枚,接触到GMM和EM,现将学习到的整理出来,如有错误,欢迎指正,希望大家多多交流,共同进步。接下来将按照思路一步一步进行介绍。 1. 单高斯模型GSM(一维) 单高斯模型很简单,大家也很清楚,这里不做过多的解释,如不明白可自行百度。如图 概率密度函数为: 2.单高斯模型(多维,以二维为例) 二维高斯分布图像如下 ... 阅读详情
AI摘要

本文系统讲解高斯混合模型(GMM)的原理、数学推导与工程实践。涵盖GMM的概率密度函数定义、隐变量建模思想、EM算法的E步与M步迭代公式(权重πk、均值μk、协方差Σk更新)、收敛判据;强调其软聚类特性、概率密度估计能力及相较于K-means的本质区别;介绍K-means初始化、AIC/BIC准则选簇数、协方差类型选择等关键工程策略,并给出Python实战代码与调优指南。

高斯混合模型(GMM)超详细讲解(附聚类实战+Python完整代码)

高斯混合模型(GMM,Gaussian Mixture Model)是概率统计领域的经典聚类与密度估计算法,作为K-means硬聚类的进阶版本,GMM通过多个高斯分布的加权组合建模数据分布,实现软聚类(每个样本属于不同簇的概率),同时支持概率密度估计,是本科生、研究生学习聚类算法的核心内容,也是金融风控、图像分割、客户分群等场景的常用建模工具。

本文将从通俗原理、核心理论与数学推导、EM算法求解流程、聚类实战、优缺点与算法对比五个维度展开,内容通俗易懂,公式附带物理意义解释,附带可直接运行的Python代码和可视化分析,适配本科课程学习、研究生实践和工业级建模参考。

一、什么是高斯混合模型(GMM)?(通俗理解)

1.1 先搞懂两个核心概念

(1)高斯分布(正态分布)

高斯分布是自然界最常见的概率分布,呈钟形曲线,核心特征是大部分数据集中在均值附近,越偏离均值数据越少。比如人群的身高、体重,学生的考试成绩,都近似服从高斯分布。

(2)混合模型

混合模型指数据由多个子群体的分布组合而成,每个子群体对应一个基础分布(这里是高斯分布)。比如把男性和女性的身高数据混在一起,整体数据不再是单一高斯分布,而是男性身高高斯分布和女性身高高斯分布的混合分布。

1.2 GMM的通俗定义

GMM假设数据集是由K个高斯分布按不同比例加权混合生成的,它的核心目标是:通过算法找到这K个高斯分布的均值、协方差,以及每个高斯分布的权重,从而实现对数据的聚类或概率密度估计。

用身高数据聚类的例子轻松理解GMM:

现有一批无性别标签的身高数据,GMM会做这样的工作:

  1. 假设数据由2个高斯分布(对应男、女)混合而成;
  2. 通过算法计算每个身高数据属于“男性高斯分布”的概率和“女性高斯分布”的概率;
  3. 找到这两个高斯分布的最佳均值(如男性175cm、女性160cm)、协方差(数据离散程度),以及权重(如男性占60%、女性占40%);
  4. 最终根据样本的归属概率,将数据分为男性、女性两类(聚类),同时能描述整体身高数据的分布情况(密度估计)。

1.3 GMM与K-means的核心区别

K-means是硬聚类,GMM是软聚类,这是二者最本质的区别,直接决定了适用场景:

  • K-means:每个样本唯一属于某一个簇,聚类结果是“非此即彼”,比如某个身高数据只能归为男性或女性;
  • GMM:每个样本以不同概率属于所有簇,聚类结果是“概率分布”,比如某个身高165cm的样本,有70%概率是女性、30%概率是男性,最终可根据最大概率确定归属。

简单来说:K-means是“一刀切”的聚类,GMM是“概率化”的聚类,GMM能捕捉更复杂的数据分布,聚类结果更贴合实际。

二、GMM的核心理论基础

GMM的核心是概率密度函数的定义,以及通过最大化对数似然函数估计模型参数,而求解这一优化问题的经典算法是EM算法(期望最大化算法),这是GMM的数学基石。

2.1 GMM的概率密度函数

假设数据集X={x1,x2,...,xN}X=\{x_1, x_2, ..., x_N\}X={x1​,x2​,...,xN​},其中每个样本xix_ixi​是ddd维特征向量,GMM假设该数据集由KKK个高斯分布加权混合生成,其概率密度函数为:
p(x)=∑k=1KπkN(x∣μk,Σk)p(x)=\sum_{k=1}^{K} \pi_{k} \mathcal{N}\left(x | \mu_{k}, \Sigma_{k}\right)p(x)=k=1∑K​πk​N(x∣μk​,Σk​)

公式各部分物理意义
  • KKK:高斯分布的数量,即聚类的簇数;
  • πk\pi_kπk​:第kkk个高斯分布的权重,表示该分布在整体数据中的占比,满足∑k=1Kπk=1\sum_{k=1}^K \pi_k=1∑k=1K​πk​=1且πk≥0\pi_k \geq 0πk​≥0;
  • N(x∣μk,Σk)\mathcal{N}(x | \mu_k, \Sigma_k)N(x∣μk​,Σk​):第kkk个高斯分布的概率密度函数,μk\mu_kμk​为均值向量,Σk\Sigma_kΣk​为协方差矩阵;
  • p(x)p(x)p(x):样本xxx在GMM模型中的概率密度值,反映样本符合该混合分布的程度。
单高斯分布的概率密度函数

GMM的基础是单高斯分布,ddd维单高斯分布的概率密度函数为:
N(x∣μk,Σk)=1(2π)d/2∣Σk∣1/2exp⁡(−12(x−μk)TΣk−1(x−μk))\mathcal{N}\left(x | \mu_{k}, \Sigma_{k}\right)=\frac{1}{(2 \pi)^{d / 2}\left|\Sigma_{k}\right|^{1 / 2}} \exp \left(-\frac{1}{2}\left(x-\mu_{k}\right)^{T} \Sigma_{k}^{-1}\left(x-\mu_{k}\right)\right)N(x∣μk​,Σk​)=(2π)d/2∣Σk​∣1/21​exp(−21​(x−μk​)TΣk−1​(x−μk​))

  • ∣Σk∣|\Sigma_k|∣Σk​∣:协方差矩阵的行列式;
  • Σk−1\Sigma_k^{-1}Σk−1​:协方差矩阵的逆矩阵;
  • 核心部分(x−μk)TΣk−1(x−μk)\left(x-\mu_k\right)^T \Sigma_k^{-1} \left(x-\mu_k\right)(x−μk​)TΣk−1​(x−μk​):样本xxx到均值μk\mu_kμk​的马氏距离,考虑了特征之间的相关性,比欧氏距离更贴合实际。

2.2 GMM的模型参数与优化目标

(1)GMM的待估参数

GMM的模型参数集合Θ={πk,μk,Σk}k=1K\Theta = \{\pi_k, \mu_k, \Sigma_k\}_{k=1}^KΘ={πk​,μk​,Σk​}k=1K​,即需要为每个高斯分布估计3个参数:

  • 权重πk\pi_kπk​:第kkk个簇的占比;
  • 均值μk\mu_kμk​:第kkk个簇的中心;
  • 协方差Σk\Sigma_kΣk​:第kkk个簇的数据离散程度和特征相关性。
(2)优化目标:最大化对数似然函数

GMM的训练目标是找到一组参数Θ\ThetaΘ,让数据集XXX在该模型下的似然函数最大,即让模型尽可能贴合实际数据分布。

由于直接最大化似然函数计算复杂,通常对其取对数(不改变单调性,且将乘积转为求和,简化计算),得到对数似然函数:
ln⁡p(X∣Θ)=∑i=1Nln⁡(∑k=1KπkN(xi∣μk,Σk))\ln p(X | \Theta)=\sum_{i=1}^{N} \ln \left(\sum_{k=1}^{K} \pi_{k} \mathcal{N}\left(x_{i} | \mu_{k}, \Sigma_{k}\right)\right)lnp(X∣Θ)=i=1∑N​ln(k=1∑K​πk​N(xi​∣μk​,Σk​))

  • 该函数表示整个数据集在参数Θ\ThetaΘ下的整体概率,值越大,模型拟合效果越好。

2.3 为什么用EM算法求解GMM?

直接对对数似然函数求导求解最优参数Θ\ThetaΘ会遇到不可解的积分问题,因为公式中存在“求和内的对数”,无法通过求导得到闭式解。

而EM算法是解决含隐变量优化问题的经典迭代算法,GMM中存在隐变量ziz_izi​(表示样本xix_ixi​属于第kkk个高斯分布的标签),EM算法通过交替执行期望步(E步)和最大化步(M步),逐步逼近最优参数,完美解决了GMM的参数估计问题。

三、EM算法求解GMM的核心推导

EM算法的核心思想是:通过迭代估计隐变量的后验概率(E步),再利用后验概率更新模型参数(M步),直到参数收敛(变化小于预设阈值),最终得到最优的GMM模型。

3.1 隐变量与后验概率(责任γik\gamma_{ik}γik​)

定义隐变量zi∈{1,2,...,K}z_i \in \{1,2,...,K\}zi​∈{1,2,...,K},表示样本xix_ixi​所属的高斯分布编号,zi=kz_i=kzi​=k即表示xix_ixi​属于第kkk个高斯分布。

在E步中,我们需要计算给定样本xix_ixi​和当前参数Θ\ThetaΘ时,隐变量zi=kz_i=kzi​=k的后验概率,记为γik\gamma_{ik}γik​,也称为第kkk个高斯分布对样本xix_ixi​的责任:
γik=p(zi=k∣xi,Θ)=πkN(xi∣μk,Σk)∑j=1KπjN(xi∣μj,Σj)\gamma_{i k}=p\left(z_{i}=k | x_{i}, \Theta\right)=\frac{\pi_{k} \mathcal{N}\left(x_{i} | \mu_{k}, \Sigma_{k}\right)}{\sum_{j=1}^{K} \pi_{j} \mathcal{N}\left(x_{i} | \mu_{j}, \Sigma_{j}\right)}γik​=p(zi​=k∣xi​,Θ)=∑j=1K​πj​N(xi​∣μj​,Σj​)πk​N(xi​∣μk​,Σk​)​

公式意义
  • 分子:第kkk个高斯分布的权重πk\pi_kπk​乘以样本xix_ixi​在该分布下的概率密度,即先验概率×似然;
  • 分母:所有高斯分布的“先验概率×似然”之和,即全概率;
  • γik\gamma_{ik}γik​的物理意义:在当前模型下,样本xix_ixi​属于第kkk个簇的概率,满足∑k=1Kγik=1\sum_{k=1}^K \gamma_{ik}=1∑k=1K​γik​=1。

3.2 EM算法的两步迭代推导

EM算法的迭代过程分为E步和M步,先初始化参数,再交替执行两步,直到收敛,以下是完整的参数更新公式推导(本科/研究生入门阶段重点掌握公式含义和使用,无需深究复杂的求导过程)。

步骤1:期望步(E步)

根据当前模型参数Θ(t)\Theta^{(t)}Θ(t)(上一轮迭代的参数),计算每个样本xix_ixi​属于每个高斯分布kkk的后验概率γik\gamma_{ik}γik​,即:
γik(t)=πk(t)N(xi∣μk(t),Σk(t))∑j=1Kπj(t)N(xi∣μj(t),Σj(t))\gamma_{ik}^{(t)} = \frac{\pi_k^{(t)} \mathcal{N}\left(x_i | \mu_k^{(t)}, \Sigma_k^{(t)}\right)}{\sum_{j=1}^K \pi_j^{(t)} \mathcal{N}\left(x_i | \mu_j^{(t)}, \Sigma_j^{(t)}\right)}γik(t)​=∑j=1K​πj(t)​N(xi​∣μj(t)​,Σj(t)​)πk(t)​N(xi​∣μk(t)​,Σk(t)​)​

  • 核心结果:得到所有样本的归属概率γik\gamma_{ik}γik​,为后续参数更新提供依据。
步骤2:最大化步(M步)

利用E步得到的后验概率γik\gamma_{ik}γik​,重新估计模型参数Θ(t+1)\Theta^{(t+1)}Θ(t+1),让对数似然函数最大化,三个参数的更新公式如下:

(1)更新权重πk\pi_kπk​

πk(t+1)=NkN\pi_k^{(t+1)} = \frac{N_k}{N}πk(t+1)​=NNk​​
其中Nk=∑i=1NγikN_k = \sum_{i=1}^N \gamma_{ik}Nk​=∑i=1N​γik​,表示第kkk个高斯分布的有效样本数(由归属概率加权求和得到,而非整数),NNN为总样本数。

  • 意义:第kkk个簇的权重等于其有效样本数占总样本数的比例。
(2)更新均值μk\mu_kμk​

μk(t+1)=1Nk∑i=1Nγikxi\mu_k^{(t+1)} = \frac{1}{N_k} \sum_{i=1}^N \gamma_{ik} x_iμk(t+1)​=Nk​1​i=1∑N​γik​xi​

  • 意义:第kkk个簇的均值是所有样本的加权平均,权重为样本对该簇的归属概率γik\gamma_{ik}γik​,相比K-means的简单平均,更贴合软聚类的特点。
(3)更新协方差矩阵Σk\Sigma_kΣk​

Σk(t+1)=1Nk∑i=1Nγik(xi−μk(t+1))(xi−μk(t+1))T\Sigma_k^{(t+1)} = \frac{1}{N_k} \sum_{i=1}^N \gamma_{ik} \left(x_i - \mu_k^{(t+1)}\right) \left(x_i - \mu_k^{(t+1)}\right)^TΣk(t+1)​=Nk​1​i=1∑N​γik​(xi​−μk(t+1)​)(xi​−μk(t+1)​)T

  • 意义:第kkk个簇的协方差矩阵是样本与均值的偏差的加权协方差,权重仍为γik\gamma_{ik}γik​,能反映该簇数据的离散程度和特征之间的相关性。

3.3 EM算法的收敛判断

每次迭代(E步+M步)后,计算当前参数下的对数似然函数值L(Θ(t+1))L(\Theta^{(t+1)})L(Θ(t+1)),并与上一轮的L(Θ(t))L(\Theta^{(t)})L(Θ(t))比较:
L(Θ)=∑i=1Nln⁡(∑k=1KπkN(xi∣μk,Σk))L(\Theta) = \sum_{i=1}^N \ln \left(\sum_{k=1}^K \pi_k \mathcal{N}\left(x_i | \mu_k, \Sigma_k\right)\right)L(Θ)=i=1∑N​ln(k=1∑K​πk​N(xi​∣μk​,Σk​))

  • 若两次对数似然函数的差值小于预设阈值(如10−610^{-6}10−6),则认为模型参数收敛,停止迭代;
  • 若未收敛,则用新参数Θ(t+1)\Theta^{(t+1)}Θ(t+1)继续执行下一轮E步和M步。

核心性质:EM算法的对数似然函数值单调不减,即L(Θ(t+1))≥L(Θ(t))L(\Theta^{(t+1)}) \geq L(\Theta^{(t)})L(Θ(t+1))≥L(Θ(t)),保证算法最终会收敛(可能收敛到局部最优,因此需要合理初始化参数)。

四、GMM的完整算法流程

GMM的训练过程是参数初始化+EM算法迭代+收敛判断的组合,流程清晰,每一步都有明确的数学依据,同时合理的参数初始化能避免算法收敛到局部最优。

步骤1:模型参数初始化

首先确定高斯分布的数量KKK(即聚类簇数),然后初始化模型参数Θ(0)=[πk(0),μk(0),Σk(0)]\Theta^{(0)} = [\pi_k^{(0)}, \mu_k^{(0)}, \Sigma_k^{(0)}]Θ(0)=[πk(0)​,μk(0)​,Σk(0)​],不建议随机初始化(易收敛到局部最优),推荐两种初始化方式:

  1. K-means初始化(最常用):先对数据做K-means聚类,将K-means的簇中心作为GMM的初始均值μk(0)\mu_k^{(0)}μk(0)​,簇的样本比例作为初始权重πk(0)\pi_k^{(0)}πk(0)​,簇内样本的协方差作为初始协方差Σk(0)\Sigma_k^{(0)}Σk(0)​;
  2. 随机采样初始化:从数据中随机采样K个样本作为初始均值μk(0)\mu_k^{(0)}μk(0)​,权重πk(0)\pi_k^{(0)}πk(0)​初始化为1/K1/K1/K,协方差Σk(0)\Sigma_k^{(0)}Σk(0)​初始化为单位矩阵。

步骤2:执行EM算法迭代

交替执行E步和M步,逐步更新模型参数:

  1. E步:根据当前参数Θ(t)\Theta^{(t)}Θ(t),计算所有样本xix_ixi​对所有簇kkk的后验概率(责任)γik(t)\gamma_{ik}^{(t)}γik(t)​;
  2. M步:根据γik(t)\gamma_{ik}^{(t)}γik(t)​,分别更新权重πk(t+1)\pi_k^{(t+1)}πk(t+1)​、均值μk(t+1)\mu_k^{(t+1)}μk(t+1)​、协方差Σk(t+1)\Sigma_k^{(t+1)}Σk(t+1)​。

步骤3:收敛判断

计算迭代前后的对数似然函数值L(Θ(t))L(\Theta^{(t)})L(Θ(t))和L(Θ(t+1))L(\Theta^{(t+1)})L(Θ(t+1)),判断是否满足收敛条件:

  • 若∣L(Θ(t+1))−L(Θ(t))∣<ϵ|L(\Theta^{(t+1)}) - L(\Theta^{(t)})| < \epsilon∣L(Θ(t+1))−L(Θ(t))∣<ϵ(ϵ\epsilonϵ为预设阈值,如10−610^{-6}10−6),则收敛,停止迭代;
  • 若未收敛,令Θ(t)=Θ(t+1)\Theta^{(t)} = \Theta^{(t+1)}Θ(t)=Θ(t+1),返回步骤2继续迭代。

步骤4:模型输出与应用

迭代收敛后,得到最优模型参数Θ∗\Theta^*Θ∗,此时可实现两大核心功能:

  1. 聚类:对每个样本xix_ixi​,计算其对所有簇的后验概率γik\gamma_{ik}γik​,将样本归为概率最大的簇,即k∗=arg⁡max⁡kγikk^* = \arg\max_{k} \gamma_{ik}k∗=argmaxk​γik​;
  2. 概率密度估计:利用GMM的概率密度函数p(x)p(x)p(x),计算任意样本xxx的密度值,用于异常检测(密度值过低的样本为异常值)、样本生成等。

五、GMM实战:数据聚类与模型优化(Python完整代码)

本次实战基于人工生成的混合高斯数据集,实现GMM聚类、聚类结果可视化、最优簇数选择(AIC/BIC准则),使用sklearn的GaussianMixture(封装好的GMM实现,入门友好),代码可直接复制运行,适配Python3.8+、scikit-learn1.0+、matplotlib3.5+。

5.1 实战目标

  1. 掌握GMM的基本使用流程:数据生成、标准化、模型训练、聚类预测;
  2. 学习GMM聚类结果的可视化方法(PCA降维);
  3. 掌握最优簇数KKK的选择方法:AIC准则、BIC准则;
  4. 对比GMM聚类结果与真实标签,验证模型效果;
  5. 掌握GMM的核心超参数调优方法。

5.2 完整代码与详细注释

# 导入所需库
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.mixture import GaussianMixture
from sklearn.datasets import make_blobs
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA

# 解决中文显示问题
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
# 设置可视化风格
sns.set(style="white", palette="muted", color_codes=True)

# ===================== 1. 生成混合高斯数据集 =====================
# 数据集参数
n_samples = 5000  # 总样本数
n_features = 4    # 特征维度
n_clusters = 4    # 真实簇数(高斯分布数量)
random_state = 42 # 随机种子,保证结果可复现

# 生成混合高斯数据:make_blobs生成多簇数据,符合GMM假设
X, y_true = make_blobs(
    n_samples=n_samples,
    n_features=n_features,
    centers=n_clusters,
    cluster_std=0.60,  # 簇内标准差
    random_state=random_state
)
print(f"数据集形状:{X.shape},真实簇数:{n_clusters}")

# ===================== 2. 数据预处理 =====================
# GMM对特征尺度敏感,需标准化(均值0,方差1)
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 转换为DataFrame,方便后续处理
df = pd.DataFrame(
    X_scaled,
    columns=[f'特征{i+1}' for i in range(n_features)]
)
df['真实簇标签'] = y_true  # 添加真实簇标签

# ===================== 3. 基础GMM模型训练与聚类 =====================
# 初始化GMM模型
gmm_base = GaussianMixture(
    n_components=n_clusters,  # 高斯分布数量(簇数),与真实值一致
    covariance_type='full',   # 协方差类型:full表示每个簇有独立的协方差矩阵
    random_state=random_state,
    max_iter=100,             # 最大迭代次数
    tol=1e-6                  # 收敛阈值
)
# 训练模型并预测聚类结果
gmm_base.fit(X_scaled)
y_pred_base = gmm_base.predict(X_scaled)  # 硬聚类结果(最大概率簇)
y_pred_proba = gmm_base.predict_proba(X_scaled)  # 软聚类结果(归属概率)

# 将结果添加到DataFrame
df['GMM聚类标签'] = y_pred_base
# 添加样本对第一簇的归属概率(示例)
df['第一簇归属概率'] = y_pred_proba[:, 0]

print(f"GMM模型迭代次数:{gmm_base.n_iter_}")
print(f"模型最终对数似然值:{gmm_base.score(X_scaled):.4f}")

# ===================== 4. 聚类结果可视化(PCA降维到2D) =====================
# PCA降维:将4维特征降到2维,方便可视化
pca = PCA(n_components=2, random_state=random_state)
X_pca = pca.fit_transform(X_scaled)
df['PCA1'] = X_pca[:, 0]
df['PCA2'] = X_pca[:, 1]

# 绘制可视化图:真实标签 vs GMM聚类标签
plt.figure(figsize=(16, 7))

# 子图1:真实簇标签分布
plt.subplot(1, 2, 1)
sns.scatterplot(
    x='PCA1', y='PCA2', hue='真实簇标签',
    data=df, palette='viridis', s=20, edgecolor='k', alpha=0.8
)
plt.title('真实簇标签分布', fontsize=16)
plt.xlabel('主成分1(PCA1)', fontsize=14)
plt.ylabel('主成分2(PCA2)', fontsize=14)
plt.legend(title='真实簇', fontsize=12)
plt.grid(alpha=0.3)

# 子图2:GMM聚类标签分布
plt.subplot(1, 2, 2)
sns.scatterplot(
    x='PCA1', y='PCA2', hue='GMM聚类标签',
    data=df, palette='viridis', s=20, edgecolor='k', alpha=0.8
)
plt.title('GMM聚类结果分布', fontsize=16)
plt.xlabel('主成分1(PCA1)', fontsize=14)
plt.ylabel('主成分2(PCA2)', fontsize=14)
plt.legend(title='GMM簇', fontsize=12)
plt.grid(alpha=0.3)

plt.tight_layout()
plt.show()

# ===================== 5. 最优簇数K的选择(AIC/BIC准则) =====================
# 测试簇数范围:1~9
n_components_range = range(1, 10)
# 存储不同簇数的AIC和BIC值
aic_list = []
bic_list = []

for n in n_components_range:
    gmm = GaussianMixture(
        n_components=n,
        covariance_type='full',
        random_state=random_state
    )
    gmm.fit(X_scaled)
    aic_list.append(gmm.aic(X_scaled))  # AIC准则
    bic_list.append(gmm.bic(X_scaled))  # BIC准则

# 绘制AIC/BIC曲线
plt.figure(figsize=(12, 6))
plt.plot(n_components_range, aic_list, marker='o', linewidth=2, label='AIC')
plt.plot(n_components_range, bic_list, marker='s', linewidth=2, label='BIC')
plt.xlabel('高斯分布数量(簇数K)', fontsize=14)
plt.ylabel('AIC/BIC值', fontsize=14)
plt.title('GMM最优簇数选择(AIC/BIC准则)', fontsize=16)
plt.legend(fontsize=12)
plt.xticks(n_components_range)
plt.grid(alpha=0.3)
plt.show()

# 选择最优簇数:BIC值最小的簇数(BIC对复杂模型惩罚更重,更适合小样本)
best_n = n_components_range[np.argmin(bic_list)]
print(f"根据BIC准则,最优簇数为:{best_n}")

# ===================== 6. 最优簇数GMM模型训练与可视化 =====================
# 初始化最优GMM模型
gmm_best = GaussianMixture(
    n_components=best_n,
    covariance_type='full',
    random_state=random_state
)
gmm_best.fit(X_scaled)
y_pred_best = gmm_best.predict(X_scaled)
df['GMM最优聚类标签'] = y_pred_best

# 可视化最优聚类结果
plt.figure(figsize=(10, 8))
sns.scatterplot(
    x='PCA1', y='PCA2', hue='GMM最优聚类标签',
    data=df, palette='viridis', s=20, edgecolor='k', alpha=0.8
)
plt.title(f'GMM最优聚类结果(K={best_n})', fontsize=16)
plt.xlabel('主成分1(PCA1)', fontsize=14)
plt.ylabel('主成分2(PCA2)', fontsize=14)
plt.legend(title='GMM最优簇', fontsize=12)
plt.grid(alpha=0.3)
plt.show()

# ===================== 7. GMM概率密度估计与异常检测(拓展) =====================
# 计算每个样本的概率密度值(对数形式)
log_density = gmm_best.score_samples(X_scaled)
df['对数密度值'] = log_density

# 异常检测:密度值低于第5百分位数的样本为异常值
threshold = np.percentile(log_density, 5)
df['是否异常'] = (log_density < threshold).astype(int)

# 可视化异常检测结果
plt.figure(figsize=(10, 8))
# 正常样本
sns.scatterplot(
    x='PCA1', y='PCA2', data=df[df['是否异常']==0],
    color='lightblue', s=20, edgecolor='k', alpha=0.6, label='正常样本'
)
# 异常样本
sns.scatterplot(
    x='PCA1', y='PCA2', data=df[df['是否异常']==1],
    color='red', s=50, edgecolor='k', alpha=0.8, label='异常样本'
)
plt.title('GMM密度估计-异常检测结果', fontsize=16)
plt.xlabel('主成分1(PCA1)', fontsize=14)
plt.ylabel('主成分2(PCA2)', fontsize=14)
plt.legend(fontsize=12)
plt.grid(alpha=0.3)
plt.show()

print(f"检测到异常样本数:{df['是否异常'].sum()},占比:{df['是否异常'].mean()*100:.2f}%")

5.3 运行结果说明

  1. 数据集基本信息:生成的数据集为4维特征、5000个样本、4个真实簇,符合GMM的混合高斯分布假设,是典型的GMM适用场景;
  2. 基础GMM模型:迭代次数约10次左右即可收敛,对数似然值为正且较大,说明模型拟合效果好,聚类结果与真实标签高度吻合,可视化图中簇的分布几乎一致;
  3. AIC/BIC曲线:当簇数K=4K=4K=4时,AIC和BIC值均达到最小值,与真实簇数一致,验证了AIC/BIC准则选择最优簇数的有效性;
  4. 异常检测:通过GMM的概率密度估计,能有效检测出数据集中的离群点(异常样本),占比约5%,符合预设的分位数阈值;
  5. 软聚类结果:predict_proba方法返回每个样本对所有簇的归属概率,可根据业务需求设置概率阈值,实现更灵活的聚类。

5.4 GMM核心超参数调优指南

sklearn的GaussianMixture封装了GMM的核心实现,实战中只需调优核心超参数即可达到较好的效果,按调优优先级排序如下:

超参数作用可选值/推荐范围调优技巧
n_components高斯分布数量(聚类簇数K)1~10(根据数据调整)用AIC/BIC准则选择,取最小值对应的K
covariance_type协方差矩阵类型full/tied/diag/spherical优先选full(每个簇独立协方差,拟合能力最强);数据量小时选diag(对角协方差,减少参数)
tol收敛阈值1e-6/1e-4越小收敛越精准,迭代次数越多;默认1e-6即可
max_iter最大迭代次数100/200/500若未收敛(n_iter_ == max_iter),则增大该值
init_params参数初始化方式kmeans/random优先选kmeans(基于K-means初始化,避免局部最优)

核心调优原则:先通过AIC/BIC确定最优簇数K,再选择协方差类型,最后微调收敛阈值和迭代次数。

5.5 AIC与BIC准则的选择

AIC(赤池信息准则)和BIC(贝叶斯信息准则)都是模型选择的经典准则,核心是在模型拟合度和复杂度之间做权衡,值越小表示模型越优,二者的区别:

  • AIC:AIC=2k−2ln⁡LAIC = 2k - 2\ln LAIC=2k−2lnL,kkk为模型参数数,对复杂模型惩罚较轻,适合大数据集;
  • BIC:BIC=kln⁡N−2ln⁡LBIC = k\ln N - 2\ln LBIC=klnN−2lnL,NNN为样本数,对复杂模型惩罚更重,适合小数据集;
  • 实战中:若样本数N>1000N>1000N>1000,可参考AIC;若N<1000N<1000N<1000,优先参考BIC。

六、GMM的优缺点

GMM作为经典的概率聚类算法,兼具聚类和密度估计的双重功能,是软聚类的代表,但其也存在一定的局限性,优缺点总结如下,适配本科/研究生课程考点和工业级选型参考。

6.1 核心优点

  1. 软聚类能力:每个样本以不同概率属于所有簇,聚类结果是概率分布,比K-means的硬聚类更贴合实际数据分布,能捕捉样本的模糊归属关系;
  2. 强大的拟合能力:支持每个簇有独立的均值、协方差和权重,能拟合任意形状、大小、密度的簇,远优于K-means仅能拟合球形簇的局限;
  3. 双重功能:同时支持聚类和概率密度估计,可一站式解决聚类、异常检测、样本生成等问题,适用场景更广;
  4. 概率可解释性:基于严格的概率统计理论,模型结果有明确的概率意义,能解释“样本属于某簇的可能性有多大”,比无监督聚类算法更具解释性;
  5. 适用于高维数据:通过协方差矩阵考虑特征之间的相关性,对高维结构化数据的聚类效果优于K-means(K-means仅考虑欧氏距离,未考虑特征相关性);
  6. 迭代收敛稳定:EM算法的对数似然函数单调不减,保证模型最终会收敛,且K-means初始化能有效避免局部最优。

6.2 核心缺点

  1. 对初始参数敏感:若随机初始化参数,EM算法易收敛到局部最优,需通过K-means初始化或多次运行算法来缓解;
  2. 簇数K需预设:与K-means一样,需要提前指定簇数K,无法自动发现簇数,需通过AIC/BIC等准则手动选择,增加了调参成本;
  3. 计算复杂度较高:相比K-means,GMM需要计算协方差矩阵、矩阵的逆和行列式,计算量更大,训练速度更慢,不适合超大规模数据集(如千万级样本);
  4. 对噪声和异常值敏感:GMM的参数估计是加权平均,异常值会影响均值和协方差的估计,导致聚类结果偏移,需提前做异常值清洗;
  5. 依赖高斯分布假设:GMM的核心假设是数据由高斯分布混合而成,若数据不满足该假设(如数据呈均匀分布、指数分布),聚类效果会大幅下降;
  6. 高维数据的协方差问题:在超高维数据中,协方差矩阵的参数数量会呈平方级增长,容易出现维度灾难,且矩阵求逆可能不稳定(奇异矩阵)。

七、GMM与主流聚类算法的对比

为了让大家在实战中精准选择聚类算法,以下从聚类类型、模型假设、拟合能力、计算复杂度等核心维度,对比GMM与K-means、DBSCAN、层次聚类三种主流聚类算法的差异,表格简洁明了,适配本科课程考核和工业级建模选型。

对比项高斯混合模型(GMM)K-meansDBSCAN层次聚类
聚类类型软聚类(概率归属)硬聚类(唯一归属)硬聚类(密度归属)硬聚类(层次归属)
模型假设数据由K个高斯分布混合而成簇为球形、大小相似、密度均匀簇为密度连通的区域,存在噪声数据存在层次化的簇结构
簇数K需预设,通过AIC/BIC选择需预设,通过肘部法则选择无需预设,自动发现簇数无需预设,生成层次簇树
簇形状拟合任意形状(椭圆、球形)仅球形簇任意形状(密度连通)任意形状
核心功能聚类+概率密度估计仅聚类聚类+噪声检测仅聚类(层次化)
对噪声/异常值敏感,需提前清洗敏感,易被异常值影响簇中心鲁棒,能自动检测并排除噪声敏感,噪声会影响层次结构
计算复杂度中等(O(NKdT)O(NKdT)O(NKdT))低(O(NKdT)O(NKdT)O(NKdT))中等(O(N2)O(N^2)O(N2),索引优化后O(NlogN)O(NlogN)O(NlogN))高(O(N2)O(N^2)O(N2))
适用于中高维、混合高斯分布、需要软聚类/密度估计低维、球形簇、大数据集、追求速度任意形状簇、含噪声的数据、无需预设簇数小数据集、需要层次化聚类结果
代表场景客户分群、图像分割、异常检测、密度估计简单数据聚类、快速分群、基线模型空间数据聚类、含噪声的工业数据聚类生物分类、文本层次分群、小数据集探索

核心选型建议

  1. 优先选GMM:中高维结构化数据、数据符合混合高斯分布、需要软聚类结果、同时需要密度估计/异常检测的场景(如金融客户分群、信用评分、图像像素聚类);
  2. 优先选K-means:低维数据、簇为球形且大小相似、数据量极大(千万级以上)、追求训练速度的场景(如简单数据分群、聚类基线模型);
  3. 优先选DBSCAN:数据簇形状不规则、数据中包含大量噪声/异常值、无需预设簇数的场景(如GPS轨迹聚类、工业故障数据聚类);
  4. 优先选层次聚类:小数据集、需要探索数据的层次化结构、无需预设簇数的场景(如生物物种分类、文献主题分群)。

八、GMM的适用场景与实战建议

GMM的核心优势是软聚类+概率密度估计,且能拟合复杂的簇形状,但其依赖高斯分布假设、对初始参数敏感的局限性也决定了它的适用边界,以下是实战中的选型建议和使用技巧,帮助大家避坑。

8.1 优先选择GMM的场景

  1. 需要软聚类结果的场景:如客户分群(客户可能同时属于多个细分群体,如“高价值年轻客户”和“潜在消费客户”)、精准营销(根据归属概率制定个性化策略);
  2. 概率密度估计与异常检测:如金融风控(检测异常交易,密度值过低的交易为风险交易)、工业质检(检测异常产品特征);
  3. 混合高斯分布的数据聚类:如人群的身高/体重数据、学生的多科目成绩数据、图像的像素强度数据,这类数据天然符合混合高斯分布;
  4. 高维结构化数据聚类:如电商用户行为特征(浏览、收藏、购买等多维度)、金融用户征信特征,GMM能考虑特征之间的相关性,聚类效果优于K-means;
  5. 样本生成与数据增强:利用GMM的概率分布,可生成符合原始数据分布的新样本,用于小数据集的模型训练和数据增强。

8.2 考虑其他算法的场景

  1. 数据不满足高斯分布:如均匀分布、指数分布、幂律分布的数据,选择DBSCAN或层次聚类,GMM的拟合效果会大幅下降;
  2. 超大规模数据集:如千万级以上样本,选择K-means(速度快)或Mini-Batch K-means(批量训练),GMM的计算复杂度过高;
  3. 数据含大量噪声/异常值:选择DBSCAN,其能自动检测噪声,无需提前清洗,而GMM对噪声敏感,需额外的预处理步骤;
  4. 无需预设簇数:选择DBSCAN或层次聚类,避免通过AIC/BIC手动选择簇数的调参成本;
  5. 低维球形簇数据:选择K-means,训练速度更快,实现更简单,能达到与GMM相近的聚类效果。

8.3 GMM的实战使用技巧

  1. 数据预处理:标准化+异常值清洗是必做项

    • 标准化:GMM对特征尺度敏感,不同特征的量纲差异会导致协方差矩阵估计偏差,必须用StandardScaler做标准化;
    • 异常值清洗:通过箱线图、Z-score等方法清洗异常值,避免异常值影响均值和协方差的估计;
    • 缺失值处理:GMM不支持缺失值,需用均值、中位数或插值法填充。
  2. 参数初始化:优先使用K-means初始化

    • 避免随机初始化,否则EM算法易收敛到局部最优,设置init_params='kmeans',利用K-means的簇中心和协方差初始化GMM参数,大幅提升收敛效果;
    • 若数据量较小,可多次运行GMM(不同随机种子),选择对数似然值最大的模型。
  3. 簇数选择:结合AIC/BIC与业务意义

    • 先用AIC/BIC准则得到最优簇数K,再结合业务意义调整,比如客户分群中,AIC建议K=5,但业务上仅需3类客户,可手动调整为K=3;
    • 若AIC/BIC曲线无明显最小值(平缓下降),选择“拐点”对应的K值。
  4. 协方差类型选择:根据数据量和维度调整

    • 数据量充足、维度适中:选covariance_type='full',拟合能力最强,能捕捉簇的复杂形状;
    • 数据量小、维度高:选covariance_type='diag'(对角协方差),减少参数数量,避免协方差矩阵奇异;
    • 簇形状接近球形:选covariance_type='spherical'(球形协方差),进一步简化计算。
  5. 模型评估:结合定量指标与定性可视化

    • 定量指标:使用轮廓系数(Silhouette Coefficient)、Calinski-Harabasz指数评估聚类效果,值越大表示簇内越紧密、簇间越分离;
    • 定性可视化:通过PCA、t-SNE将高维数据降到2D/3D,可视化聚类结果,直观判断簇的分离效果;
    • 业务验证:聚类结果需符合业务逻辑,比如客户分群的结果需与实际的消费行为、人口特征一致。
  6. 高维数据优化:降维后再聚类

    • 对超高维数据(如特征数>100),先通过PCA、LDA做特征降维,再用GMM聚类,避免维度灾难和协方差矩阵不稳定的问题。

九、总结

  1. 高斯混合模型(GMM)是基于概率统计的软聚类算法,核心假设是数据由K个高斯分布按不同权重混合生成,能同时实现聚类和概率密度估计,是K-means硬聚类的进阶版本;
  2. GMM的模型参数包括权重πk\pi_kπk​、均值μk\mu_kμk​、协方差Σk\Sigma_kΣk​,优化目标是最大化数据集的对数似然函数,由于含隐变量,采用EM算法迭代求解,EM算法由**E步(计算后验概率)和M步(更新模型参数)**组成,且对数似然函数单调不减;
  3. GMM的核心优势是软聚类能力、拟合任意形状簇、概率可解释性,适用于中高维混合高斯分布数据,同时支持异常检测、样本生成等拓展功能;
  4. GMM的核心局限性是对初始参数敏感、需预设簇数K、计算复杂度较高、依赖高斯分布假设,实战中需通过K-means初始化、AIC/BIC选簇数、数据预处理来缓解;
  5. GMM与K-means、DBSCAN、层次聚类的核心区别在于聚类类型和模型假设,实战中需根据数据分布、簇形状、数据量和业务需求选择合适的聚类算法;
  6. GMM的实战关键是数据标准化+K-means初始化+AIC/BIC选簇数,同时结合定量指标和定性可视化评估模型效果,保证聚类结果的合理性和业务价值。

拓展学习:掌握GMM后,可依次学习隐马尔可夫模型(HMM)(序列数据的概率建模)、变分推断高斯混合模型(VB-GMM)(解决GMM的过拟合问题)、混合分布模型(如泊松混合模型、贝塔混合模型,适用于非高斯分布数据),进一步完善概率统计建模的知识体系。

高斯混合模型 Gaussian Mixture Model | GMM 本文主要简单介绍了高斯混合模型的基本概念,优缺点,应用场景,建模时的注意事项,评价指标,实现方法,python示例和模型参数等。 阅读详情

相关推荐

机器学习算法(二十九):高斯混合模型(Gaussian Mixed Model,GMM)

目录 1 混合模型(Mixture Model) 2 高斯模型 2.1 单高斯模型 2.2高斯混合模型 3模型参数学习 3.1单高斯模型 3.2高斯混合模型 4高斯混合模型与K均值算法对比 1 混合模型(Mixture Model) 混合模型是一个可以用来表示在总体分布(distribution)中含有 K 个子分布的概率模型,换句话说,混合模型表示了观测数据在总体中的概率分布,它是一个由 K 个子分布组成的混合分布。混合模型不要求观测数据提供关于子分布的...

weixin_39910711的博客 2万+

一文读懂高斯混合模型

在扩散模型(Diffusion Models)中,高斯分布扮演着至关重要的角色。这些模型使用一系列逐步添加噪声的过程来将数据逐渐“扩散”到随机噪声,然后再通过逆过程从噪声中恢复原始数据。

m0_74259787的博客 5219

高斯混合模型(GMM)及其EM算法的理解

一个例子高斯混合模型(Gaussian Mixed Model)指的是多个高斯分布函数的线性组合,理论上GMM可以拟合出任意类型的分布,通常用于解决同一集合下的数据包含多个不同的分布的情况(或者是同一类分布但参数不一样,或者是不同类型的分布,比如正态分布和伯努利分布)。如图1,图中的点在我们看来明显分成两个聚类。这两个聚类中的点分别通过两个不同的正态分布随机生成而来。但是如果没有GMM,那么只能用一

小平子的专栏 32万+

高斯混合模型(GMM)介绍以及学习笔记

1.高斯混合模型概述 高斯密度函数估计是一种参数化模型。高斯混合模型(Gaussian Mixture Model, GMM)是单一高斯概率密度函数的延伸,GMM能够平滑地近似任意形状的密度分布。高斯混合模型种类有单高斯模型(Single Gaussian Model, SGM)和高斯混合模型(Gaussian Mixture Model, GMM)两类。类似于聚类,根据高斯概率密度函数(Pro

James Zhang's Blog 11万+

【GMM高斯混合模型】

GMM高斯混合模型(Gaussian Mixture Model, GMM)是一种概率模型,用于表示具有多个高斯分布成分的数据集。它通过假设数据由多个高斯分布的子集组成,从而适用于数据聚类、密度估计等任务。

2301_77444219的博客 1133

高斯混合模型(GMM)和EM算法【Python】

在GMM中使用EM算法 一、高斯混合模型(GMM) 1、一维高斯分布 2、多维高斯分布 3、高斯混合模型 从几何角度来看:多个高斯分布叠加而成 πk是x点属于哪个高斯分布的权重 二、EM算法:是一种迭代方法 E-step:更新后验概率 def get_expectation(self, data): """ 更新posteriori(后验概率) :param data: 输入的数据点 :return: 更新后的后验概率

Alx_2020的博客 2562

高斯混合模型(GMM)和EM算法

在深度学习的路上,从头开始了解一下各项技术。本人是DL小白,连续记录我自己看的一些东西,大家可以互相交流。 本文参考: http://www.ituring.com.cn/article/497545(GMM) https://blog.youkuaiyun.com/xmu_jupiter/article/details/50889023(GMM) http://www.cnblogs.com/wjy...

weixin_38206214的博客 2万+

高斯混合模型(GMM)算法理解及代码实现(opencv)

GMM在数据聚类和图像分类中有很重要的应用。 概念理解: (1)条件概率: (2)先验概率:在有一定量数据的前提下,我们对参数进行概率估计,事件发生前的预判概率。 (3)后验概率:在最合适的那个参数的前提下,观测数据出现的最大概率。 (4)极大似然估计:找到一组参数使得我们观测到的数据出现的概率最大。 (5)高斯分布:,概率密度函数。其中N的两个参数第一个代表均值,第二个代表协方差矩阵。 (6)...

molihong28的博客 5692

高斯混合模型GMM及期望最大化EM算法详解

与假设球形簇的k-means不同,由于协方差分量,gmm可以适应椭球形状。这使得gmm能够捕获更多种类的簇形状。由于使用协方差矩阵和混合系数,可以处理不同大小的聚类,这说明了每个聚类的分布和比例。GMM提供了属于每个簇的每个点的概率(软分配),这可以在理解数据时提供更多信息。可以处理重叠的集群,因为它根据概率而不是硬边界为集群分配数据点。易于解释聚类结果,因为每个聚类都由具有特定参数的高斯分布表示。除了聚类,GMM还可以用于密度估计和异常检测。需要提前指定分量(簇)的数量。

酒酿小圆子呀~ 5892

高斯混合模型GMM

高斯混合模型理解。

qq_24946843的博客 5506

机器学习笔记 - 什么是高斯混合模型(GMM)?

高斯混合模型 (GMM) 是一种机器学习算法。它们用于根据概率分布将数据分类为不同的类别。高斯混合模型可用于许多不同的领域,包括金融、营销等等!这里要对高斯混合模型进行介绍以及真实世界的示例、它们的作用以及何时应该使用GMM。 高斯混合模型 (GMM) 是一个概率概念,用于对真实世界的数据集进行建模。GMM是高斯分布的泛化,可用于表示可聚类为多个高斯分布的任何数据集。 高斯混合模型是一种概率模型,它假设所有数据点都是从具有未知参数的...

学以致用 知行合一 5万+

高斯混合模型GMM与EM算法的Python实现

GMM与EM算法的Python实现 高斯混合模型(GMM)是一种常用的聚类模型,通常我们利用最大期望算法(EM)对高斯混合模型中的参数进行估计。 1. 高斯混合模型(Gaussian Mixture models, GMM) 高斯混合模型(Gaussian Mixture Model,GMM)是一种软聚类模型。 GMM也可以看作是K-means的推广,因为GMM不仅是考虑到了数...

aizhao3648的博客 2734

vasp-自旋轨道耦合(SOC)计算步骤

在VASP中执行自旋轨道耦合(SOC)计算,具体的计算步骤如下: 结构优化获取CONTCAR文件 自洽计算(collinear normal VASP calculations)获取IBZKPT,CHGCAR和WAVECAR文件。 SCF+SOC计算,在此步骤中,将步骤2中的IBZKPT复制为KPOINTS,以便两个步骤具有相同的k网格,因此可以读取步骤2中的CHGCAR和WAVECAR文件。 能带结构计算,在此步骤中,将KPOINTS改为高对称点,读取步骤3中的CHGCAR和WAVECAR文件。

懒散的鱼与消失的猫 3万+

利用Python实现高斯混合模型(GMM)

前言 之前将网易公开课上吴恩达机器学习视频中高斯混合模型(GMM)及其EM算法反反复复看了几遍之后并将所有公式重新推导了一遍,现在利用Python进行手写进一步加深理解。关于吴恩达机器学习中相关讲义的整理另行抽时间进行上传博客。 Python代码 #!/usr/bin/python3 # -*- coding: utf-8 -*- # @Time : 2018/7/19 10:...

戴璞微的学习之路 4万+

三维点云孔洞修复(附Python代码和公共点云数据集链接)

(1)物体自身缺失(2)物体自身形状复杂,很多凹凸面不够规则甚至存在空腔,空腔内部无法被三维激光扫描仪扫描到(3)物体部分区域对激光扫描不敏感,未被扫描上(4)扫描仪的扫描稳定性。

yanghl1215的博客 6956

若依框架集成saToken

若依版本3.8.8,鉴权采用security框架,这种框架太重,项目中想实现对外提供接口功能。尽快减少修改原框架的逻辑基础上,采用satoken实现。

sccd2009的专栏 1483

高斯混合模型(GMM)

本文转载自:http://blog.sina.com.cn/s/blog_a36a563e0102y2ec.html 之前在学习中遇到高斯混合模型,卡了很长一段时间,在这里记下学习中的一些问题以及解决的方法。希望看到这篇文章的同学们对高斯混合模型能有一些基本的概念。全文不废话,直接上重点。 本文将从​以下三个问题详解高斯混合模型: 1.什么是高斯混合模型? 2.高斯混合模型的数学原理? ...

radar_zzm的博客 5029

数据资产目录(SailCatalog)和数据地图(SailMap)

笔者接下来准备开发大数据平台(XSailboat)中的数据资产目录(SailCatalog)和数据地图(SailMap)相关的功能,本文用以记录笔者关于此部分功能的概念梳理和主体功能设计。

OkGogooXSailboat的博客 2330

30:分类器GMM

ClassPriors:类的先验概率类型('training','uniform')'uniform'表示使用相同的权重,1/NumClasses;'training'表示类发生的概率是依据样本中的概率推断。注:增加Randomize目的主要为了防止在训练的过程整数特征向量中出现类中心数过多的异常现象,对数据做扰动,经验值推荐,halcon推荐1.5-2之间满足大部分情况。KsigmaProb:归一化概率,可以判断新特征不属于现有的类,有点像sigma,远离中心值会很小,异常检测:低于0.0001就拒绝。

学习笔记 848

Unity Hub报错The Hub as encountered a critical error and must close

如果注册表HKEY_LOCAL_MACHINE\SOFTWARE\Unity Technologies\这个目录下有Hub文件,直接删掉然后重装就可以。C:\Users\Administrator\AppData\Roaming\Unity 作者:SevenVee。HKEY_CURRENT_USER\Software\Unity 下所有项,尝试过,卸载重装,清除临时文件无果后,最终决定删除所有与Hub有关的文件。重装unity后可以打开了。结果:卸载重装后还是会出现此问题。结果:重装后还是无法解决。

qq_42345116的博客 3639

YOLOv11改进 | 损失函数改进篇 | MPDIoU、InnerMPDIoU助力细节涨点(二次创新 + 代码解析)

本文为读者详细介绍了YOLOv11模型的最新改进,带来的改进机制是最新的损失函数MPDIoU和融合了最新的Inner思想的InnerMPDIoU(效果打爆之前的所有的损失函数提升检测精度和处理细节方面的作用。通过深入探讨MPDIoU和InnerMPDIoU(全网首发)的工作原理和实际代码实现,本文旨在指导读者如何将这些先进的损失函数技术应用到YOLOv11模型中,以提高其性能和准确性。文章内容涵盖从理论基础、代码实现,到实际教你如何添加本文的机制到你的模型中。

Snu77的博客 4032

高斯混合模型GMM详细推导

http://blog.youkuaiyun.com/xmu_jupiter/article/details/50889023 高斯混合模型GMM是一个非常基础并且应用很广的模型。对于它的透彻理解非常重要。网上的关于GMM的大多资料介绍都是大段公式,而且符号表述不太清楚,或者文笔非常生硬。本文尝试用通俗的语言全面介绍一下GMM,不足之处还望各位指正。 首先给出GMM的定义 这

崔浩的博客 8117

数字IC设计形式验证全攻略

本文介绍了数字IC设计中形式验证的关键技术与应用。主要内容包括:1)形式验证的两种主要方法——等价性检查(用于验证设计修改前后的功能一致性)和模型检查(通过数学方法验证系统是否满足时态逻辑规范);2)详细的工作流程,从需求分析到结果调试;3)常见挑战如状态空间爆炸的解决方案;4)通过SystemVerilog断言示例展示FIFO验证实践。文章强调形式验证与仿真验证结合能提高验证效率,适合IC设计工程师掌握的核心技术。

2301_79143213的博客 835

GMM高斯混合模型的EM算法参数估计matlab仿真

最大期望算法(Expectation-Maximization algorithm, EM),或Dempster-Laird-Rubin算法 ,是一类通过迭代进行极大似然估计(Maximum Likelihood Estimation, MLE)的优化算法,通常作为牛顿迭代法(Newton-Raphson method)的替代用于对包含隐变量(latent variable)或缺失数据(incomplete-data)的概率模型进行参数估计。高斯混合模型可用于聚类,这是将一组数据点分组为聚类的任务。

fpga/matlab/simulink算法仿真工程 1627

MTK Meta ISP 工具使用技巧与参数读取路径全解析

在联发科(MediaTek, MTK)平台上进行相机图像调试时,Meta ISP 工具是连接 PC 与设备进行参数调整、寄存器读取和图像输出的重要工具。本文以实战角度出发,系统梳理 Meta ISP 的使用流程、关键模块功能、典型调试技巧与参数读取路径,结合最新版平台(如MTK Genio/Dimensity 系列)架构,帮助工程师掌握联发科图像调优的核心流程。

努力分享一些人工智能、计算机视觉、影像等相关的知识干货! 1154

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

上一篇: 【分类算法】多层感知机(MLP)分类器超详细讲解
下一篇: 【分类算法】决策树超详细讲解
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值