张小三的博客

想象一下你有一个大大的数据表，里面包含了很多很多的信息。如果你想对这些数据进行操作，比如筛选出符合条件的数据、或者对数据做一些计算，RDD 就是 Spark 用来存储和操作这些数据的一种方式。转换操作（就像是加工数据）和行动操作（获取结果）

解压得到以下结构的目录.以下目录对应的是各个版本的hadoop的bin目录。此处是使用的是3.0.0版本。本例子是使用java语言实现的spark学习的案例笔记，整合springboot等相关框架。此类主要用于声明spark的配置，包括spark的运行模式，spark的运行环境等。下载完成后，解压出来到某个路径下。使用本地算力进行计算。创建一个定时任务类，用于测试整合是否成功。输出词频统计结果如下图。主要用于在window系统下的开发学习。：此处的地址在以下的代码中使用到。来获取网盘下载地址.

由于hadoop2和hadoop3的配置也需要和hadoop1的配置一致，所以只需要将hadoop1中的/usr/local/hadoop3.4.0文件夹拷贝一份到hadoop2和hadoop3机器中即可。hadoop2和hadoop3两台服务器的环境变量配置也要和hadoop1中的配置一致。在hadoop1服务器中使用以下命令将hadoop1中已经配置好的hadoop发送到hadoop2和hadoop3.使用以下命令同步时间。启动完成之后hadoop1、hadoop2、hadoop3 中都会生成对应的。