
Hadoop
文章平均质量分 74
决战大数据
业精于勤荒于嬉,行成于思毁于随
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
python对Hadoop的hdfs的操作——-pyhdfs或python调用shell文件
python对Hadoop的hdfs的操作——-pyhdfs或python调用shell文件本人在写基因组里的序列比对算法时,需要用Hadoop加快运算的速度,在java中可以直接调用Hadoop里面API提供的方法对hdfs操作,然而由于本人是用python写的算法,需要借助pyhdfs或python调用shell文件来对hdfs来进行操作。一、pyhdfs操作hdfs下面本人都详细介绍pyhdf原创 2017-08-11 13:30:48 · 8651 阅读 · 0 评论 -
cdh-Hadoop伪分布式安装教程
昨天晚上刚刚配置好了3台主机的集群,想着把集群的配置过程详细的记录下来,以备不时之需,就顺便把cdh-Hadoop伪分布式安装教程也详细记录下来。在没有深入接触大数据之前,我也不知道cdh和Apache的Hadoop有什么区别。但是随着不断的深入,慢慢的了解到cdh的好处,cdh版本的Hadoop会帮我们编译好Hadoop。例如当我们学习到hive,flume,sqoop……时,如果用的是Apach原创 2017-09-22 13:40:31 · 4574 阅读 · 0 评论