LightsUpW的博客

整理记录，不定期更新评测指标from scipy.stats import ks_2sampks_value = lambda y_pred,y_true: ks_2samp(y_pred[y_true==1], y_pred[y_true!=1]).statisticfrom sklearn import metricsprint 'AUC: %.4f' % metrics.r...

使用随机森林训练模型from sklearn.ensemble import RandomForestClassifierfeat_lables = trainx.columnsforest = RandomForestClassifier(n_estimators=10000, random_state=0,n_jobs=1)forest.fit(trainx, trainy)imp...

1.在Hive中可以使用正则表达式set hive.support.quoted.identifiers=None; select a.pin, `(pin)?+.+` from Table2.输出表数据时，显示列名set hive.cli.print.header=true;

一、默认配置Spark_HOME：进入目录/soft/client/spark-2.1.1-bin-2.6.0/conf文件夹，文件如下：spark-defaults.conf //设置spark maeter地址、每个executor进程的内存、占用核数等spark-env.sh //spark相关的各种环境变量log4j.properties.template //设...

补数据startDate=20180901endDate=20181021startSec=`date -d "$startDate" "+%s"`endSec=`date -d "$endDate" "+%s"`for((i=$startSec;i<=$endSec;i+=86400))dodtb=`date -d "@$i" "+%Y-%m-%d"`hiv