基于模糊聚类的模糊决策树--分类问题

基于模糊聚类的模糊决策树–分类问题

一篇久远的文献: Fuzzy classification systems based on fuzzy information gain measures
首先对训练数据集$R$，在特征$f$下的值，使用模糊聚类算法，聚类为$k$个模糊簇，一维表示为区间值$[x_{11},x_{12}],[x_{21},x_{22}],\dots ,[x_{k1},x_{k2}]$，簇中心记为$m_1^{\prime },m_2^{\prime },\dots ,m_k^{\prime }$.

针对任意一个特征$f$，在该特征下，对得到的$k$个簇中心在该特征下按升序排列。
（1）对于第一个簇$m_1$和其临近簇$m_2$在该特征下的值，构造为簇$m_1$的模糊隶属度函数：
$${\mu }_{v_1}(x)=\{\begin{array}{l}1-\frac{x-m_1}{U_{min}-m_1}\times 0.5,\text{if}{U}_{min}\le x\le m_1\\ 1-\frac{x-m_1}{m_2-m_1},\text{if}{m}_1<x\le m_2\\ 0,otherwise\end{array}$$
其中，$U_{min}$是特征$f$中的最小值。
$\text{解释}:$该函数中，当$x=U_{min}$，${\mu }_{v_1}(x)=\frac{1}{2}$；当$x=m_1$，${\mu }_{v_1}(x)=1$；当$x=m_2$，${\mu }_{v_1}(x)=0$.

（2）为在该特征下最大的簇中心的值$m_k$构造模糊隶属函数：
$${\mu }_{v_k}(x)=\{\begin{array}{l}1-\frac{x-m_k}{m_{k-1}-m_k},\text{if}{m}_{k-1}\le x\le m_k\\ 1-\frac{x-m_k}{U_{max}-m_k}\times 0.5,\text{if}{m}_k<x\le U_{max}\\ 0,otherwise\end{array}$$
其中，$U_{max}$是特征$f$中的最大值。
$\text{解释}:$该函数中，当$x=U_{max}$，${\mu }_{v_k}(x)=\frac{1}{2}$；当$x=m_k$，${\mu }_{v_k}(x)=1$；当$x=m_{k-1}$，${\mu }_{v_k}(x)=0$.
（3）为该特征下的中间簇构造$m_i(i\ne 1,k)$的模糊隶属度函数：
$${\mu }_{v_i}(x)=\{\begin{array}{l}1-\frac{x-m_i}{m_{i-1}-m_i},\text{if}{m}_{i-1}\le x\le m_i\\ 1-\frac{x-m_i}{m_{i+1}-m_i},\text{if}{m}_i<x\le m_{i+1}\\ 0,otherwise\end{array}$$
以上三种隶属度函数均为三角模糊隶属函数，只不过在两个端点的模糊隶属度为$\frac{1}{2}$.

模糊信息增益

$k$个簇可视为不同特征下的语言变量，以上已经为任意特征下的语言变量构造模糊集。假设，训练数据集为$R$，类别数为$C$，特征$f$下有$V$个模糊集。对于任意一个模糊集$v\in V$，${\mu }_v$代表其隶属函数，${\mu }_v(x)$代表$x$在模糊集$v$下的隶属度。模糊集$v$的支持表示为全集的子集，记为Uv={u∣μv(u)>0且u∈U}U_v=\{u\mid \mu_v(u)>0 且 u\in U\}Uv​={u∣μv​(u)>0且u∈U}。

$\text{类别度}$：属于类别 $c$ 的训练样本集的子集 $R_v$ 的类别度 $C{D}_c(v)$ 定义为：
$$C{D}_c(v)=\frac{{\sum }_{x\in X_c}{\mu }_v(x)}{{\sum }_{x\in X}{\mu }_v(x)}$$
其中，$X$ 表示训练集的子集 $R_v$ 在特征 $f$ 下的值的集合($x$表示特征值)，$X\subseteq U_v$, $X_c$ 表示训练集中属于类 $c$, $c\in C$ 的子集 $R_v$ 在特征 $f$ 下的值的集合。${\mu }_v(x)$表示值$x$属于模糊集合$v$的隶属度，${\mu }_v(x)\in [0,1]$。

$\text{模糊熵}$：特征 $f$的值落在特征 $f$ 下的模糊集 $v$ 的支持度 $U_v$ 中，的训练集子集的模糊熵 $FE(v)$ 定义为
$$FE(v)=-\sum _{c\in C}C{D}_c(v)lo{g}_{2}C{D}_c(v)$$
其中，$C$ 表示类的集合，$C{D}_c(v)$ 表示属于类 $c$ 的训练实例子集的类度。

$\text{模糊信息增益}$：特征 $f$ 相对于一组训练实例$R$的模糊信息增益定义为
$$FIG(R,f)=\sum _{cinC}(-\frac{n_c}{n}lo{g}_2\frac{n_c}{n})-\sum _{v\in V}(\frac{s_v}{s}FE(v))$$
其中，$n$表示$R$中包含的实例数(训练样本个数)，$n_c$表示$R$中包含的属于$c$类的实例数，$V$表示特征$f$上的模糊集集合，$s$表示特征$f$下的所有模糊集中的隶属度值的总和，$s_v$表示属于特征 $f$下模糊集$v$的所有隶属度值之和。

实际操作步骤：

训练阶段

利用模糊聚类算法对数据集进行聚类，得到$k$个簇和对应的簇中心。
根据数据集的特征类型，连续型和离散型分别对每个特征下的数据，根据得到的簇中心进行模糊化：
假设$R$表示一组训练实例，$C$表示一组类，$c$表示$C$的一个类，$F$表示一组特征，F={f1,f2,…,fn}F = \{f_1, f_2,… , f_n\}F={f1​,f2​,…,fn​}, $n$ 表示特征的数量，$f_i$ 表示 $F$ 的第 $i$ 个特征。处理所有特征的最佳模糊划分的算法现在如下所示：
步骤1:初始化 $i=1$;
步骤2: 聚类簇数设置为2，选择第$i$个特征；
步骤3: 对每个特征，构建隶属度函数，构造几个模糊集；如果$f_i$连续型，
步骤3.1 ：构造数值特征的隶属函数
对$j=1,2\dots ,k$:
以聚类中心$m_j$作为模糊集$v_{ij}$的中心，构造其隶属函数${\mu }_{ij}$，其中$U_{min}$表示特征$f_i$的最小值，$U_{max}$表示特征$f_i$中的最大值，以及模糊集 $v_{i1},v_{i2},\dots ,v_{ik}$ 的聚类中心是 $m_1,m2,\dots ，m_k$.
如果$j=1$：
$${\mu }_{v_{i1}}(x)=\{\begin{array}{l}1-\frac{x-m_1}{U_{min}-m_1}\times 0.5,\text{if}{U}_{min}\le x\le m_1\\ 1-\frac{x-m_1}{m_2-m_1},\text{if}{m}_1<x\le m_2\\ 0,otherwise\end{array}$$
其中，$U_{min}$是特征$f$中的最小值。
如果$j=k$：
$${\mu }_{v_{ik}}(x)=\{\begin{array}{l}1-\frac{x-m_k}{m_{k-1}-m_k},\text{if}{m}_{k-1}\le x\le m_k\\ 1-\frac{x-m_k}{U_{max}-m_k}\times 0.5,\text{if}{m}_k<x\le U_{max}\\ 0,otherwise\end{array}$$
否则：
$${\mu }_{v_{ij}}(x)=\{\begin{array}{l}1-\frac{x-m_i}{m_{i-1}-m_i},\text{if}{m}_{i-1}\le x\le m_i\\ 1-\frac{x-m_i}{m_{i+1}-m_i},\text{if}{m}_i<x\le m_{i+1}\\ 0,otherwise\end{array}$$
步骤3.2 ：构造离散特征的隶属函数
对于离散特征$f_i$，U={u1,u2,…,up}U = \{u_1,u_2,\dots,u_p\}U={u1​,u2​,…,up​}，$u_j$代表特征$f_i$的一个离散特征值
$${\mu }_{v_{ij}}(x)={\mu }_{u_j}(x)=\{\begin{array}{l}1,x=u_j\\ 0,otherwise\end{array}$$
步骤4: 基于步骤3中构建的特征$f_i$的每个模糊集$v_{ij}$的隶属函数，计算训练实例的每个子集$R_{ij}$对于每个类的类别度$C{D}_c(v_{ij})$。然后，计算训练实例的每个子集$R_{ij}$的模糊熵$FE(v_{ij})$。然后，计算特征$f_i$相对于训练实例集合$R$的模糊信息增益$FIG(R,f_i)$。
步骤5: 如果特征$f_i$是数值特征，则判断是否增加簇数k。设$T$表示给定的阈值，其中$T\in [0,1]$，$I_{value}$表示特征$f_i$的模糊信息增益相对于训练实例集合$R$在簇数$k-1$和$k$之间的增加值，即$I_{value}$使用$k-1$个簇的信息增益和使用$k$个簇的信息增益。
如果$f_i$是数值型特征，
如果$k=2$或者$I_{value}\ge T$，那么$k=k+1$ go to 步骤3.1；
否则，将特征$f_i$的值聚类成$k-1$个簇所构造的隶属函数作为特征$f_i$的模糊集的隶属函数；
步骤6: 如果$i\le n$, $i=i+1$, 否则，停止遍历。

测试阶段

基于每个特征的每个模糊集构造的隶属函数、获得的每个训练实例子集相对于每个类别的类别度以及获得的每个训练实例子集的模糊熵，提出对特征赋权用于动态对测试样本分类，称为模糊熵权重度量。由于所提出的模糊熵权重度量是基于根据测试实例的每个特征的每个值估计测试实例的类的不确定性来计算的，因此我们使用等式： (2)提出估计的模糊熵测度，用于根据测试实例的特定特征的值来计算该测试实例的类别的不确定性。

模糊熵

对于测试样本$r$在特征$f$下的值$x$，评估其模糊熵：
$$EF{E}_f(x)=\sum _{v\in V_f}({\mu }_v(x)\times FE(v))$$
其中，$V_f$表示特征$f$的模糊集的集合，${\mu }_v$表示在训练时构造的模糊集$v$的隶属函数，${\mu }_v(x)$表示值$x$属于模糊集$v$的隶属度值，${\mu }_v(x)\in [0,1]$和 $FE(v)$ 表示模糊特征$f$上模糊集得到的模糊熵。

然后，基于上式的估计模糊熵度量，提出了一种模糊熵权度量来生成测试实例的特征权重，如下所述。假设测试实例属于某个类的概率服从均匀分布，其中 $P(x)=1/n_c$, $x\in X$, $X$ 表示测试实例的集合，$P(x)$表示测试实例的集合$X$概率密度函数，$n_c$表示$c$类下样本的数量。在这种情况下，测试样本集合 $X$ 具有最大熵。假设测试实例属于某个类的概率呈均匀分布，则所提出的模糊熵权重度量的定义如下。

模糊熵权

测试实例 $r$的特征 $f$ 的模糊熵权重 $FEWf(x)$ 定义为
$$FE{W}_f(x)=\frac{n_c\times (-1/n_{c}lo{g}_2-1/n_c)-EF{E}_f(x)}{{\sum }_{g\in F}[n_c\times (-1/n_{c}lo{g}_2-1/n_c)-EF{E}_g{x}_g]}$$
其中$x$表示测试实例$r$的特征$f$的值，$EFEf(x)$表示根据测试实例$r$的特征$f$值$x$估计的测试实例$r$的模糊熵，$F$表示一组特征，$n_c$表示类$c$下的样本数量，$x_g$表示测试实例$r$的特征$g$的值，$EF{E}_g(x_g)$表示根据估计的测试实例$r$的在特征$g$下的模糊熵。

测试样本特征值的类别度

根据测试实例的特征$f$的值$x$，测试实例$r$在特征$f$下属于类别$c$的估计类别度$EC{D}_c(x,f)$定义为
$$EC{D}_c(x,f)=\sum _{v\in V_f}({\mu }_v(x)\times C{D}_c(v))$$
其中$V_f$表示特征$f$的模糊集，${\mu }_v$表示在训练时构造的模糊集$v$的隶属函数，$C{D}_c(v)$ 表示属于类$c$的训练实例子集的类别度。

测试样本的类别度–加权估计类别度量

测试实例 $r$ 在所有特征下，属于类 $c$ 的加权估计类度 $WEC{D}_c(r)$ 定义为
$$WEC{D}_c(r)=\sum _{x\in X,f\in F}(FE{W}_f(x)\times EC{D}_c(x,f))$$
其中$F$表示一组特征，$X$表示测试实例$r$的特征值的集合，$FE{W}_f(x)$表示测试实例$r$的特征$f$的模糊熵权，$EC{D}_c(x,f)$表示根据该测试实例的特征$f$的值$x$估计该测试实例$r$属于类$c$的类度。

判断测试样本的类别

$$WECDC(r)=argma{x}_{c\in C}WECD{C}_c(r)$$
其中$C$表示类别，$WEC{D}_c(r)$表示属于类c的测试实例$r$的加权估计类度。选择最大的加权估计类度作为样本$r$的预测类别。

总的评估函数–判断测试样本的类别

$$WECDC(r)=argma{x}_{c\in C}\sum _{x\in X,f\in F}(\frac{n_c\times (-1/n_{c}lo{g}_2-1/n_c)-{\sum }_{v\in V_f}({\mu }_v(x)\times FE(v))}{{\sum }_{g\in F}[n_c\times (-1/n_{c}lo{g}_2-1/n_c)-{\sum }_{v\in V_g}({\mu }_v(x)\times FE(v))]}\times \sum _{v\in V_f}({\mu }_v(x)\times C{D}_c(v)))$$

总结：该方法是对每个特征聚类，在训练阶段使用模糊决策树分别针对连续和离散属性模糊化，分别计算每个特征下的数据子集的模糊熵，信息增益，确定划分属性和节点。在测试阶段，针对测试样本新增了熵权法计算测试样本的不同特征下的权重，再去估计模糊熵权和加权估计类别度量，通过最大化二者的乘积，作为最终的预测类别。

创新点在于在测试阶段增加了计算测试样本的特征权重和加权类别估计。