如何做数据竞赛·优秀案例学习（DC03）

2019年腾讯广告算法大赛冠军思路、代码(PART 3)

方案地址：https://zhuanlan.zhihu.com/p/73062485
代码地址：https://github.com/guoday/Tencent2019_Preliminary_Rank1st
数据地址：https://algo.qq.com/application/home/home/review.html

---

上一篇文章我们分析了这个项目的特征提取如何做数据竞赛·优秀案例学习（DC02），以及如何构建训练集的代码，这部分我们分析转换数据格式的代码。

import os
import pandas as pd
import numpy as np
import random
import gc
from sklearn import preprocessing
np.random.seed(2019)
#随机函数种子，作用是给定生成随机数的起始点，相同的起始点生成的随机数是一样的。
random.seed(2019)
#有两种不同随机函数，该随机函数不在numpy包中，所以需要单独设定
def norm(train_df,test_df,features):   
    df=pd.concat([train_df,test_df])[features]
    #将两张表合并，默认情况下axis=0,也就是行合并，特征没变，行数增多，这里是将训练集和测试集合并
    scaler = preprocessing.QuantileTransformer(random_state=0)
    #预处理技术，产生一个缩放器对象，作用是将每个特性放入相同的范围或分布。然而，通过执行等级转换，它可以消除不寻常的分布
    scaler.fit(df[features])
    #缩放器对象去拟合数据
    train_df[features]=scaler.transform(train_df[features])
    #开始缩放训练数据
    test_df[features]=scaler.transform(test_df[features])
    #开始缩放测试数据

for path1,path2,flag,wday in [('data/train_dev.pkl','data/dev.pkl','dev',1),('data/train.pkl','data/test.pkl','test',3)]:
        print(path1,path2)
        train_df=pd.read_pickle(path1)
        #读取训练集数据
        test_df=pd.read_pickle(path2)
        #读取测试集数据
        train_df=train_df.sort_values(by=['aid','request_day'])
        #对训练集中'aid','request_day'排序，默认升序
        train_df=train_df.drop_duplicates(keep='last')
        #对训练集中数据去重
        print(train_df.shape,test_df.shape)
        #打印输出训练集测试集大小
        test_df['wday']=wday
        #将测试集的wday（一周第几天改为1或3）
        float_features=['history_aid_imp', 'history_aid_bid', 'history_aid_pctr', 'history_aid_quality_ecpm', 
                        'history_aid_totalEcpm', 
                        'periods_cont','aid_imp_mean', 'aid_imp_median', 'aid_imp_std', 'aid_imp_min',
                        'aid_imp_max', 'good_id_imp_mean', 'good_id_imp_median',
                        'good_id_imp_std', 'good_id_imp_min', 'good_id_imp_max', 'advertiser_imp_mean', 
                        'advertiser_imp_median', 'advertiser_imp_std', 'advertiser_imp_min', 'advertiser_imp_max', 
                        'good_id_advertiser_count', 'good_id_aid_count', 'good_id_ad_size_count', 
                        'good_id_ad_type_id_count', 'good_id_good_id_size', 'advertiser_good_id_count', 
                        'advertiser_aid_count', 'advertiser_ad_size_count', 'advertiser_ad_type_id_count',
                        'advertiser_good_type_count', 'advertiser_advertiser_size', 
                        'good_type_good_type_size', 'aid_aid_size','create_timestamp']
        #构建的数值特征名称
        train_df[float_features]=train_df[float_features].fillna(0)
        #对于这些数值特征，如果有缺失则填充0
        test_df[float_features]=test_df[float_features].fillna(0)
        #同理测试集
        norm(train_df,test_df,float_features)
        #对测试集训练集的数值特征 对数据进行缩放，达到相同的分布或者范围
        print(train_df[float_features])
        
        k=1
        train_df=train_df.sample(frac=1)
        #sample（）参数frac是要返回的比例，比如df中有10行数据，我只想返回其中的30 %, 那么frac = 0.3
        train=[(path2[:-4]+'_NN.pkl',test_df)]
        #提取path2中除后四位的字符，然后拼接'_NN.pkl'，和test_df构成元组
        for i in range(k):
            train.append((path1[:-4]+'_NN_'+str(i)+'.pkl',train_df.iloc[int(i/k*len(train_df)):int((i+1)/k*len(train_df))]))
#iloc 用来筛选行，但i=0时，train_df.iloc[int(i/k*len(train_df)):int((i+1)/k*len(train_df))]返回整个训练集的数据
        del train_df
        #删除内存中的train_df
        gc.collect()
        #清除内存
        for file,temp in train:
            #在train列表里遍历，train里元素是二元组
            print(file,temp.shape)
            print("w2v")
            for pivot,f,L in [('uid','aid',64),('uid','good_id',64),('uid','advertiser',64)]:
                df = pd.read_pickle('data/' +pivot+'_'+ f +'_'+flag +'_w2v_'+str(L)+'.pkl')
                #读取之前转换的word2vec特征
                if 'train' in file:
                    #对训练集执行
                    items=[]
                    for item in temp[f].values:

                        if random.random()<0.05:
                            #random.random()方法返回一个随机数，其在0至1的范围之内，也就是以5%的概率执行下面语句
                            items.append(-11111111111)
                        else:
                            items.append(item)
                            #以上操作相当于掩盖5%的数据，为了保证训练测试集的一致性，因为只有曝光的广告才有嵌入数据，
                            # 而测试集里存在没曝光的数据，所以必须让训练集也有一部分没有曝光
                    temp['tmp']=items
                    df['tmp']=df[f]
                    del df[f]
                    temp = pd.merge(temp, df, on='tmp', how='left')
                    #将两个dataframe根据tmp列融合，这样就可以让df数据，也就是嵌入数据更新到训练数据中
                else:
                    temp = pd.merge(temp, df, on=f, how='left')
                    # 将两个dataframe根据tmp列融合
                print(temp.shape)
                     
            print('deepwalk')
            #对deepwalk的特征的处理也同理word2vec，因为必须保证训练测试一致性
            for f1,f2,L in [('uid','aid',64),('uid','good_id',64)]:
                df = pd.read_pickle('data/' +f1+'_'+ f2+'_'+f2 +'_'+flag +'_deepwalk_'+str(L)+'.pkl')  
                if 'train' in file:
                    items=[]
                    for item in temp[f2].values:
                        if random.random()<0.05:
                            items.append(-11111111111)
                        else:
                            items.append(item)
                    temp['tmp']=items
                    df['tmp']=df[f2]
                    del df[f2]
                    temp = pd.merge(temp, df, on='tmp', how='left')
                else:
                    temp = pd.merge(temp, df, on=f2, how='left')
                print(temp.shape) 
                #同理上述操作

            temp=temp.fillna(0)
            #对缺失值填充0
            temp.to_pickle(file)
            #转换为pickle格式，data/train_dev_NN.pkl,data/dev_NN.pkl,data/train_NN.pkl,data/test_NN.pkl
            del temp
            gc.collect()
            #清除内存

---

接下来的文章我们会学习该方案的模型搭建。