数据分析与数据挖掘
文章平均质量分 56
zqqnancy
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
安装python Scipy时的坑
Python scipy库提供了真正的矩阵,以及大量的基于矩阵运算的对象与函数。机器学习模块Scikit-Learn就依赖于它,Numpy和metplorlib。Scipy依赖于Numpy, 安装之前必须先安装Numpy。安装环境:windows 1. 安装python在官网上下载python安装包,选择的是python 2.7.xhttps://www.python.or原创 2016-08-26 09:45:47 · 3056 阅读 · 0 评论 -
hive两个聚合函数的计算结果拼接成表并做进一步计算
hive两个聚合函数的计算结果拼接成表让LZ头疼了很久,一度想到用python处理,或者新建两张临时表保存聚合函数的结果然后再取出数据进行计算,或者使用UDF, 但总觉得还有其他方法。经过一番探索,发现WITH AS 可以方便快捷解决此问题。WITH AS短语,也叫做子查询部分(subquery factoring),可以让你做很多事情,定义一个SQL片断,该SQL片断会被整个SQL语句所原创 2016-09-27 14:51:19 · 7859 阅读 · 0 评论 -
hive导入导出数据
Hive导出数据的方式:http://blog.youkuaiyun.com/niityzu/article/details/42238483Hive导入数据的方式:http://blog.youkuaiyun.com/niityzu/article/details/42234741Hive的高级应用:http://lxw1234.com/archives/2015/04/190.htm转载 2016-11-09 11:40:49 · 588 阅读 · 0 评论 -
HIVE中使用python实现UDF
参考:http://www.4wei.cn/archives/1002357Python UDF HIVE,FACEBOOK的一个开源项目,利用类SQL的语句(HiveQL)来加快一般的MapReduce的开发过程。UDF,user defined function, 因为HIVE毕竟不是一般的关系型数据库,支持的HQL有限,如果要实现复杂的功能,就要通过自己定义函数来帮助实现。HIVE应该利用P...原创 2017-02-10 11:44:26 · 7878 阅读 · 0 评论 -
How to force STORE (overwrite) to HDFS in Pig?
问题: Pig Grunt 中,fs -rmr /apps/hive/warehouse/tmp_test 可以正常运行直接运行pig -param_file/home/hive/sample.params /home/hive/preprocess.pig ,如果已经有/apps/hive/warehouse/tmp_test 文件存在,会报错;2012-06-19 19:22:转载 2017-03-02 17:54:07 · 1057 阅读 · 0 评论 -
Python环境配置中的报错及解决方案
python环境安装和问题解决原创 2017-05-02 16:46:52 · 4203 阅读 · 0 评论
分享