学到的就要教人 赚到的就要给人

一、创建hadoop用户 创建hadoop用户 如果你安装CentOS 的时候不是用的“hadoop” 用户，那么需要增加一个名为hadoop 的用户。 首先点击左上角的“应用程序” -> “系统工具” -> “终端”，首先在终端中输入su，按回车，输入root 密码以root 用户登录，接着执行命令创建新用户hadoop: [root@localhost...

本教程介绍的是如何在Ubuntu/CentOS 中使用Eclipse 来开发MapReduce 程序，在Hadoop 2.6.0 下验证通过。虽然我们可以使用命令行编译打包运行自己的MapReduce程序，但毕竟编写代码不方便。使用Eclipse，我们可以直接对HDFS 中的文件进行操作，可以直接运行代码，省去许多繁琐的命令。 注：本教程引用于厦门...

很多人按照网上的各类教程搭建hadoop，但经常在安装好了后，启动hadoop时出现各类的错误，本文就“Error:JAVA_HOME is not set and could not be found ”这一错误提出解决办法。 针对这个错误，网上好多都说了java的路径设置有问题，但没有指出具体的修改方法，其实是hadoop里面hadoop-env.sh文件里面的java路径设置不对，hado...

在/home/Downloads目录下新建eclipse.desktop，内容如下： [Desktop Entry] Encoding=UTF-8 Name=eclipse Comment=Eclipse IDE Exec=/usr/local/eclipse/eclipse Icon=/usr/local/eclipse/icon.xpm Terminal=false StartupNoti...

1 HDFS架构概述 HDFS（Hadoop Distributed File System）的架构概述，如图2-23所示。 3 MapReduce架构概述 MapReduce将计算过程分为两个阶段：Map和Reduce，如图2-25所示 1）Map阶段并行处理输入数据 2）Reduce阶段对Map结果进行汇总 本文资料转载于：尚硅谷大数据之Hadoop ...

在B站学习尚硅谷的Hadoop学习公开课视频，根据所学内容，做一下总结。 tip：博客材料来源于尚硅谷公开课视频，如有侵权，请联系删除！ 大数据技术生态体系如图2-26所示。 图中涉及的技术名词解释如下： 1）Sqoop：Sqoop是一款开源的工具，主要用于在Hadoop、Hive与传统的数据库(MySql)间进行数据的传递，可以将一个关系型数据库（...

1、查看Hadoop目录结构 [atguigu@hadoop101 hadoop-2.7.2]$ ll 显示如下： 总用量 52 drwxr-xr-x. 2 atguigu atguigu 4096 5月 22 2017 bin drwxr-xr-x. 3 atguigu atguigu 4096 5月 22 2017 etc drwxr-xr-x. 2 atguigu a...

1 启动HDFS并运行MapReduce程序 1. 分析 （1）配置集群 （2）启动、测试集群增、删、查 （3）执行WordCount案例 2. 执行步骤 （1）配置集群 （a）配置：hadoop-env.sh Linux系统中获取JDK的安装路径： [atguigu@ hadoop101 ~]# echo $JAVA_HOME /opt/module/jdk1.8.0_14...