分享数据科学家的自我修养

文章目录Hoeffding 不等式期望损失与经验损失泛化误差上界证明[^1]Hoeffding 不等式第 2 版，设 X1,X2,,⋯ ,XNX_1,X_2,,\cdots,X_NX1​,X2​,,⋯,XN​ 是独立随机变量，且 Xi∈[ai,bi],i=1,2,⋯ ,NX_{i} \in [a_i,b_i],i=1,2,\cdots,NXi​∈[ai​,bi​],i=1,2,⋯,N；Xˉ\bar{X}Xˉ 是 X1,X2,,⋯ ,XNX_1,X_2,,\cdots,X_NX1​,X2​,,⋯,XN​

GPU support for XGBoost and LightGBMGBDT 是表格型数据挖掘比赛的大杀器，其主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。XGBoost 和 LightGBM 是两个实现 GBDT 算法的框架，为了加快模型的训练效率，本文记录了 GPU Support 的 XGBoost and LightGBM 的构建过...

案例及数据说明本案例以Data Tech 2017浙江大数据建模与创新应用大赛的模型挑战赛选题三: 通信信用风险评估为例说明。此次比赛还在进行中，开放了浙江移动及相关企业脱敏后的数据，大家都可以拿来练练手。本选题用到的数据包括公共数据集、用户通话数据、违约行为数据。 训练集数据：用户通话数据(201703-201706)，违约行为数据(201707)，公共数据-基本信息(201703-201706

系列目录：Python数据挖掘与机器学习_通信信用风险评估实战(1)——读数据数据说明通过对读取数据的实践，下面是数据集文件对应读取后的DataFrame说明。 数据文件 DataFrame DataTech_Credit_Train_Communication1.txt train_comm DataTech_Credit_Train_User1 train_user D

系列目录：Python数据挖掘与机器学习_通信信用风险评估实战(1)——读数据Python数据挖掘与机器学习_通信信用风险评估实战(2)——数据预处理有这么一句话在业界广为流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。数据说明数据使用经数据预处理，合并后的宽表train_user_comm_basic。宽表(train_user_comm_basic)的单特征分析与处理遍历

系列目录：Python数据挖掘与机器学习_通信信用风险评估实战(1)——读数据Python数据挖掘与机器学习_通信信用风险评估实战(2)——数据预处理Python数据挖掘与机器学习_通信信用风险评估实战(3)——特征工程训练数据拆分把训练数据拆分为训练集和交叉验证集，比例为7:3。x_train和y_train用来训练模型，x_test和y_test用来交叉验证。data_train = data_

CentOS安装tensorflow-gpu的过程遍地是坑，有条件的哥们还是遵从Tensorflow官方建议，直接上Ubuntu。如下主要包含了几个分支：安装Python 3显卡驱动CUDA/cuDNNtensorflow-gpuglibc和gccCentOS 7.2安装Python 3.7CentOS 7.2默认的Python版本是2.7.5，这里采用源码编译安装Python...