致虚极，守静笃，万物并作，吾以观其复

1. 环境准备 大数据集群一套，没有的可以自己本地搭建一套（参考地址：https://www.jianshu.com/p/2c2ae6490fa0） 本地安装JDK 本地安装IDEA或者Eclipse 2. 创建Maven项目 在IDEA工具中创建一个maven项目，并在pom.xml中添加以下依赖： <dependencies> <dependency> <groupId>junit</groupId> <artifactId&gt

hdfs集群上的文件，在实际操作过程中和linux命令非常相似，只需要在前面写[hadoop fs]命令后面再加上想要对集群做的文件操作即可，下面是一些用的操作命令和示例。 参数 含义 举例 -help 输出这个命令参数 hadoop fs -help rm -ls 显示目录信息 hadoop fs -ls / -mkdir 在HDFS上创建目录 hadoop fs -mkdir -p /sanguo/shuguo -moveFromLocal 从本地剪切粘贴到HDFS hado

1. 环境准备 在一台linux机器上，安装好hadoop运行环境，安装方式请查看：HADOOP运行环境搭建 2. 启动HDFS并运行MapReduce程序 2.1. 配置集群 1. 配置：hadoop-env.sh Linux系统中获取JDK的安装路径： [root@ hadoop101 ~]# echo $JAVA_HOME /opt/module/jdk1.8.0_144 编辑hadoop-env.sh，修改hadoop-env.sh中的JAVA_HOME 路径： export JAVA_HOME=

一、 单机模式说明 单机模式是Hadoop的默认模式。 又称本地模式、独立模式等。 因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。 该模式主要用于开发调试MapReduce程序的应用逻辑。 1. 环境准备 在一台linux机器上，安装好hadoop运行环境，安装方式请查看：HADOOP运行环境搭建 2. 配置说明 首先说明，单机模式在安装之后不需要修改任何配置，配置文件为空即可！ 之所以单机模式不需要任何配置文件，是因为配置文件不配置时，系统默认值即为单机模式所

1. 配置文件简介 首先，在hadoop官网中可以看到，hadoop有四个核心模块，如下图：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-M6lRJqqU-1588937978531)(https://user-gold-cdn.xitu.io/2020/2/21/17066df88c0a2c75?w=1240&h=455&f=png&s=317971)] 四个核心模块分别是： Hadoop Common (公共的工具，为其他模块提供支撑)

1. 环境准备： 一台linux机器，可以是本地VMware安装的虚拟机，或者一台真实的linux机器都可以。 如果是本地安装的虚拟机，需要预先配置好以下几点： 配置机器静态IP（防止重启时IP变动） 修改主机名（方便配置） 关闭防火墙（防止端口被禁用） 2. 安装包准备 jdk安装包 下载地址：https://www.oracle.com/java/technologies/javas...