
hadoop
Mr.Lee jack
这个作者很懒,什么都没留下…
展开
-
hadoop 集群与搭建步骤
1.集群搭建预处理(主机配置)准备至少2台机器ip hostname172.19.0.1 hserver1 172.18.2.32 hserver2 192.43.2.31 hserver3a). 你可以改变你准备机器的hostname,这个步骤不是必须的,...原创 2019-01-29 18:05:21 · 298 阅读 · 0 评论 -
hadoop的mapreducer处理数据(Python)
1.hadoop客户端环境1.直接找有hadoop服务的机器,这样你访问的就是本机的hadoop集群,也就不用在配置了2.如果你要远程其他hadoop集群,那么你需要配置相关文件,配置方式如同配置hadoop集群一样hadoop集群搭建详见:https://blog.youkuaiyun.com/xzpdxz/article/details/86692631 修改相应的配置注意确保你的环境有j...原创 2019-03-20 17:33:12 · 700 阅读 · 1 评论 -
mapreduce的Python操作方法
1.mrjob简介mrjob是一个编写mapreduce任务Python开源框架,它既可以模拟hadoop的mapreduce,也可以之间在hadoop上运行2.安装mrjob[root@i ~]# yum -y install epel-release[root@i ~]# yum -y install python-pip (如果你没有安装pip)[root@...原创 2019-03-20 19:19:44 · 1923 阅读 · 0 评论