Candy的博客

原创 Python数据分析与数据化运营 （第二版 宋天龙） ——第6章 商品数据化运营

原创 hive使用

1.hive中一次性使用命令： hive -e "select * from ldh_table limit 3"; 静默执行且保存一次性命令: hive -S -e "select * from ldh_table limit 3" 》 /temp/myfile2.从文件中执行hive hive -f /path/file/myhive.sql 在hive shell中用 sou...

原创 SQL常见用法

1.hive中顺序执行 ： set mapred.job.queue.name=analytics;2.清除表内容：truncate table ldh_mobile_new_detail;3.上传本地文件到空表中 load data local inpath '///home/hadoop/my.txt' into table mytable;4.新建表 （1）指定分隔符 cre...

原创 roc曲线的画法

import pandas as pdimport matplotlib.pyplot as plttrain_df = pd.read_csv(r'train.txt',sep='\t',header=None)test_df = pd.read_csv(r'test.txt',sep='\t',header=None)x=[0,0.1,0.2,0.3,0.4,0.5,0.6,0.7...

原创 python实现excel的基本功能

python和excel查看列数：data.shape[1]查看行数：data.shape[0]查看单元格数：data.size查看列名：data.columns查看某列：data[‘name’]查看某行：data[1:2]查看某行：data.iloc[0]查看某列：data.loc[0]查看多个单元格：data.loc[[0,2],[‘XXX’,‘YYY’]] #可以数字也可以...

原创 python数据分析与挖掘实战

python数据分析与挖掘3.数据预处理数据清洗缺失值处理删除插值均值中位数插补固定值替换最近邻替换回归方法插值法拉格朗日插值不处理异常值处理删除视为缺失值均值修正不处理数据集成数据变换函数变换规范化最小最大均值方差小数定标连续属性离散化属性构造小波变换数据规约属性规约合并属性逐步向前选择逐步向后删除决策树归纳主成分分析数据预处...

原创 合并文件

1.合并同一文件夹的txt文件,原始文件存放于filepath目录中import osimport os.pathdef MergeTxt(filepath,outfile): k = open(filepath + outfile, 'a+') for parent , dirnames , in os.walk(filepath): for file...

原创 Python竖排文件打横

竖排文件打横文件类型(1)mobile1 value1mobile1 value2mobile1 value3mobile1 value4mobile2 value1mobile2 value2mobile2 value3mobile2 value4转化为文件：mobile1 value1 value2 value3 value4mobile2 value1 value2 ...

原创 xgboost调优

1.xgboost参数：（1）XGBClassifierclass xgboost.XGBClassifier(max_depth=3, learning_rate=0.1, n_estimators=100, silent=True, objective=‘binary:logistic’,booster=‘gbtree’, n_jobs=1, nthread=None, gamma=0,...

原创 xgboost安装和使用

Anaconda下xgboost安装和实现xgboost安装：1.下载xgboost安装包：https://www.lfd.uci.edu/~gohlke/pythonlibs/#xgboost xgboost-0.82-cp27-cp27m-win32.whlxgboost-0.82-cp27-cp27m-win_amd64.whlxgboost-0.90-cp35-cp35m-wi...

原创 Python常用操作（json操作，md5加密，文件分割，随机抽取）

json转换一段json文件，先查json编辑器http://www.bejson.com/，如果能够正常进行解析，可以放进Python中进行解析，两种形式：1.1 读成string形式Python可自动识别1.2 对于识别不了的，可以用以下代码： import pandas as pd from pandas.core.frame import DataFrame import ...

原创 拆分sheet和合并sheet

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...