王小明爱吃大菠萝的博客

最近在学大数据，学了MapReduce之后写了个单词计数，将学习过程记录于此。解释在代码里面，我就不再解释了。环境说明:jdk1.8hadoop-2.7.7windows上配置好的带有hadoop环境的eclipse1.自定义Mapper/* * LongWritable对应输入的key类型，默认是行的偏移量LongWritable * Text,对应上输入的value类...

引言：最近在学大数据，感觉虚拟机里面的eclipse贼慢，遂在windows上的eclipse配置hadoop环境说明:win10jdk1.8hadoop-2.7.7hadoop-eclipse-plugin-2.7.7.jar1.下载hadoop-eclipse-plugin-2.7.7.jarhadoop-eclipse-plugin-2.7.7.jar2.将jar...

1.虚拟机安装大概步骤分为:创建虚拟机(创建1台之后，可以进行克隆)配置jdk配置ssh、rsync配置Hadoop1.创建虚拟机此处不做过多解释。我的是vmware+Ubuntu(18.04.1)2.配置jdk更新源sudo apt-get update，之前没有更新，找不到jdk配置jdk。 在之前可以将服务器改成国外的服务器(在"软件和更新...

在进行此教程之前，请确保伪分布式Hadoop已搭建完成。若没有搭建完成，请浏览上一篇博文1、环境说明Ubuntu14.0.4Hadoop2.6.4java-7-openjdk-amd64VirtualBox四个节点:master node1 node2 node3 内存分别为4GB 2GB 2GB 2GB伪分布Hadoop主机，用于复制2、设置node1...