decision tree

最新推荐文章于 2024-07-17 17:37:20 发布

dongliang1991

最新推荐文章于 2024-07-17 17:37:20 发布

阅读量403

点赞数

CC 4.0 BY-SA版权

文章标签： C++

本文链接：https://blog.youkuaiyun.com/dongliang1991/article/details/10199221

本文通过一个具体的C++程序示例，展示了如何计算不同特征的信息增益，这对于理解决策树算法中的特征选择过程至关重要。文章中涉及了经验熵、条件熵及信息增益等概念，并通过实际数据集进行了计算。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#include<iostream>
#include<math.h>
#include<vector>
using namespace std;
int main()
{
    const int K=2;//输出空间
    const int M=15;//training points nums
    const int N=4;//可能的特征向量的数目
    int array[M][N+1]={0,0,0,0,0,0,0,0,1,0,0,1,0,1,1,0,1,1,0,1,0,0,0,0,0,1,0,0,0,0,1,0,0,1,0,1,1,1,1,1,1,0,1,2,1,1,0,1,2,1,2,0,1,2,1,2,0,1,1,1,2,1,0,1,1,2,1,0,2,1,2,0,0,0,0};
    int c[K];
    c[0]=0;
    c[1]=0;
    float H=0.0;//经验熵H
    for(int i=0;i<M;i++)
    {
        if(array[i][N]==0)
        {
            c[0]++;
        }
        else 
            if(array[i][N]==1)
            {
                c[1]++;
            }
    }
    cout<<c[0]<<c[1]<<endl;
    int g=c[0]+c[1];
    cout<<g<<endl;
    for(int i=0;i<K;i++)
    {
        H-=float(c[i])/g*log2(float(c[i])/g);
    }
    cout<<H<<endl;
    vector<vector<int> > A(N);//save i'th 特征向量取值为j的样本数
    A[0].resize(3,0);
    A[1].resize(2,0);
    A[2].resize(2,0);
    A[3].resize(3,0);
    vector<vector<vector<int> > >D(K);
    for(int i=0;i<K;i++)
    {
        D[i].resize(N,vector<int>(3));
    }
    for(int i=0;i<K;i++)
        for(int j=0;j<N;j++)
            for(int k=0;k<3;k++)
                D[i][j][k]=0;
    for(int i=0;i<N;i++)
    {
        for(int j=0;j<M;j++)
        {
            if(array[j][i]==0)
            {
                A[i][0]++;
                if(array[j][N]==0)
                {
                    D[0][i][0]++;

                }
                else if(array[j][N]==1)
                {
                    D[1][i][0]++;
                }
            }
            else 
                if(array[j][i]==1)
                {
                    A[i][1]++;
                    if(array[j][N]==0)
                    {
                        D[0][i][1]++;
                    }
                    else if(array[j][N]==1)
                    {
                        D[1][i][1]++;
                    }
                }
                else
                    if(array[j][i]==2)
                    {
                        A[i][2]++;
                        if(array[j][N]==0)
                        {
                            D[0][i][2]++;
                        }
                        else if(array[j][N]==1)
                        {
                            D[1][i][2]++;
                        }
                    }
        }
    }
   /* for(int i=0;i<K;i++)
        for(int j=0;j<N;j++)
            for(int k=0;k<3;k++)
                cout<<D[i][j][k]<<endl;
    for(int i=0;i<N;i++)
        for(int j=0;j<3;j++)
            cout<<A[i][j]<<endl;*/
    float H1=0;
    float sum=0;
    for(int i=0;i<3;i++)
    {
        for(int j=0;j<K;j++)
        {
            if(D[j][0][i]==0)continue;
            sum+=(float(D[j][0][i])/A[0][i])*log2(float(D[j][0][i])/A[0][i]);
        }
        H1=H1-(float(A[0][i])/g*sum);
        sum=0;
    }
    
    cout<<H1<<endl;
    float H2=0;
    sum=0;
    for(int i=0;i<2;i++)
    {
        for(int j=0;j<K;j++)
        {
            if(D[j][1][i]==0)continue;
            sum+=((float(D[j][1][i])/A[1][i])*log2(float(D[j][1][i])/A[1][i]));
        }
        H2-=(float(A[1][i])/g*sum);
        sum=0;
    }
    sum=0;
    float H3;
    for(int i=0;i<2;i++)
    {
        for(int j=0;j<K;j++)
        {
            if(D[j][2][i]==0)continue;
            sum+=(float(D[j][2][i])/A[2][i])*log2(float(D[j][2][i])/A[2][i]);
        }
        H3-=float(A[2][i])/g*sum;
        sum=0;
    }
    sum=0;
    float H4;
    for(int i=0;i<3;i++)
    {
        for(int j=0;j<K;j++)
        {
            if(D[j][3][i]==0)continue;
            sum+=(float(D[j][3][i])/A[3][i])*log2(float(D[j][3][i])/A[3][i]);
        }
        H4-=float(A[3][i])/g*sum;
        sum=0;
    }

float G[4];
G[0]=H-H1;
G[1]=H-H2;
G[2]=H-H3;
G[3]=H-H4;
cout<<G[0]<<endl;
cout<<G[1]<<endl;
cout<<G[2]<<endl;
cout<<G[3]<<endl;
float max=G[0];
int flag=0;
for(int i=1;i<4;i++)
{
    if(G[i]>max)
    {
        max=G[i];
        flag=i+1;
    }


}
cout<<"choosing A"<<flag<<endl;
return 0;

}