Hadoop+Spark+Python
广埠屯小拉登
一个在做极地研究的小学生
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
VM虚拟机环境下Hadoop的部署与设置(单一节点)
Hadoop Single Node Cluster是只以一台机器,建立hadoop环境,您仍然可以使用hadoop命令,只是无法发挥使用多台机器的威力。 因为只有一台服务器,所以所有功能都在一台服务器中,安装步骤如下:安装JDK设定 SSH 无密码登入下载安装Hadoop设定Hadoop环境变数Hadoop组态档设定建立与格式化HDFS目录启动Hadoo...原创 2019-01-21 17:52:37 · 577 阅读 · 0 评论 -
VM虚拟机环境下Hadoop的部署与设置(多台机器)
Hadoop Multi Node ClusterHadoop Multi Node Cluster规划如下图,由多台电脑組成:有一台主要的电脑master,在HDFS擔任NameNode角色,在MapReduce2(YARN)擔任ResourceManager角色有多台辅助的电脑data1、data2、data3,在HDFS擔任DataNode角色,在MapReduce2(YARN...原创 2019-01-21 22:13:43 · 1146 阅读 · 0 评论 -
WordCount.java的简单介绍
以WordCount为例,计算文件中每一个英文单词出现的次数,主要是这样的思路:Map: 将原本文字转换为(key,value)的形式,其中key是word,value是单词出现的次数Shuffle: 将相同的key排列在一起Reduce: 将相同的key 的value相加 主要操作步骤分为这样几步:编辑WordCount.java编译WordCount.java创建测试文本文...原创 2019-01-23 14:29:00 · 1310 阅读 · 0 评论
分享