- 博客(79)
- 收藏
- 关注
RSS订阅原创 MapReduce工作原理
该阶段编程模型中有一个 reduce 函数需要开发人员重写，reduce 函数的输入也是一个 <key, value> 对，reduce 函数的输出也是一个 < key,List<value>> 对。Reduce是会跨节点fetch属于自己的数据，并进行处理，把结果进行汇总，存储到HDFS。该阶段的编程模型中会有一个 map 函数需要开发人员重写，map 函数的输入是一个 < key,value > 对，map 函数的输出也是一个 < key,value > 对，key和value的类型需要开发人员指定。
2025-04-02 08:27:44
826
原创 创建Maven项目
步骤一：打开 IDEA，点击 File -> Settings（Windows/Linux）或者 IntelliJ IDEA -> Preferences（Mac），进入设置界面，然后找到 Build, Execution, Deployment -> Build Tools -> Maven。步骤三：可以在 User settings file 中指定 settings.xml 文件的路径（一般使用默认路径即可），Local repository 中指定本地仓库的路径，配置完成后点击 OK 保存设置。
2025-04-02 08:18:24
748
原创 （三）安装和使用Maven
下载最新版本的 Maven 压缩包（`apache-maven-<version>-bin.zip`）。- 在“变量值”中输入 Maven 的安装路径，例如 `D:\Apache\maven`。- 在“环境变量”窗口中，找到并选择 `Path` 环境变量，然后点击“编辑”按钮。- 右键点击“此电脑”或“我的电脑”，选择“属性”。- 在“系统属性”窗口中，点击“环境变量”按钮。- 在“编辑环境变量”窗口中，点击“新建”按钮。- 在“环境变量”窗口中，点击“新建”按钮。1. 下载 Maven。
2025-04-02 08:11:49
232
原创 hadoop客户端环境准备
1. 找到资料包路径下的Windows依赖文件夹，拷贝hadoop-3.1.0到非中文路径（比如d:\hadoop-3.1.0）2. 新建HADOOP_HOME环境变量,值就是保存hadoop的目录。分成两步：下载hadoop包、配置环境变量。资料包里面有对应的微软运行库安装包双击安装。验证Hadoop环境变量是否正常。如果报如下错误说明缺少微软运行库。配置Path环境变量。
2025-03-28 15:58:03
240
原创 配置集群-编写hadoop启动停止脚本
echo " =================== 启动 hadoop集群 ==================="echo " =================== 关闭 hadoop集群 ==================="echo " --------------- 启动 yarn ---------------"echo " --------------- 关闭 yarn ---------------"分发/home/root/bin目录，保证自定义脚本在三台机器上都可以使用。
2025-03-19 10:21:12
310
原创 配置集群-日志聚集操作
进入到我们安装yarn的主机，通过命令来关闭掉yarn和historyServer，然后再重启。设置日志聚集服务器地址 -->设置日志保留时间为7天 -->开启日志聚集功能 -->
2025-03-19 10:05:19
227
原创 测试集群功能-上传文件
上传后的文件在：/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1721084495-192.168.10.100-1741938543582/current/finalized/subdir0/subdir0目录下。
2025-03-19 08:56:58
205
原创 配置hadoop集群-修改配置文件
配置/opt/module/hadoop-3.1.3/etc/hadoop。-- 指定ResourceManager的地址-->在环境变量中添加/etc/profile.d/my_env.sh。命令是：hdfs namenode -format。-- 指定hadoop数据的存储目录 -->-- 配置HDFS网页登录使用的静态用户为。-- 指定NameNode的地址 -->-- 指定MR走shuffle -->-- nn web端访问地址-->-- 环境变量继承 -->nn web端访问地址-->
2025-03-19 08:55:20
729
原创 hadoop集群配置-ssh无密登陆
SSH（Secure Shell）命令是一种用于通过加密协议安全地连接到远程服务器的工具。它广泛应用于远程登录、文件传输和命令执行等场景。在hadoop100上，运行命令：ssh-keygen -t rsa。然后根据提示连续敲入三个回车。这个命令就会生成一对公钥和私钥。3.在hadoop100上登录hadoop101，验证效果。1.在hadoop100上 生成密钥对。输入命令可以从102进入101。（二）ssh无密登陆。（一）认识ssh命令。
2025-03-12 11:10:25
212
原创 hadoop集群配置-xsync脚本同步环境变量
6. 获取当前文件的名称。#4. 判断文件是否存在。#3. 遍历所有目录，挨个发送。在root目录下新建文件夹。#2. 遍历集群所有机器。在文件夹中写入如下内容。#1. 判断参数个数。
2025-03-12 10:34:16
256
原创 hadoop集群配置-scp的使用
在hadoop101机器上，把hadoop100的文件传递到hadoop102上。在hadoop100机器上，把文件推送到hadoop101机器上。在hadoop102上，拉取hadoop101机器上的内容。在100中输入命令将jdk拷贝到101中。在102中输入如下命令拷贝101中的文件。用同样的方法拷贝hadoop。在101和102中新建文件夹。
2025-03-12 09:02:15
246
原创 安装并运行hadoop程序
在opt文件夹下新建一个software文件夹，将jdk拖入software。在任意目录下输入java -version，看是否能出现jdk版本。输入如下代码查看hadoop是否安装成功。（1）把javaJDK文件上传到服务器。（1）把hadoop文件上传到服务器。将hadoop拖入software。3.运行官方WordCount程序。在如下目录新建文件夹wcinput。1.在虚拟机上安装javaJDK。2.在虚拟机上安装hadoop。在wcinput新建两个文件。
2025-03-07 16:02:26
353
原创 克隆虚拟机
linux中，ip地址是写在配置文件（/etc/sysconfig/network-scripts/ifcfg-ens33）中，这里使用 vi 编辑器去修改即可！2. 在它身上右键，并选择管理 → 克隆 命令。1. 关闭hadoop100这台虚拟机。2.修改虚拟机的IP。
2025-03-05 11:38:07
156
原创 修改虚拟机的yum配置
Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方 repository 中是找不到的）。下载一个常见工具试一试，如果能下载成功， 就证明这个操作完成了。（4）安装rsync。（3）安装 vim：vim是一个增强版的vi编辑器。（1）安装epel-release。5.修改虚拟机的hosts配置。（2）安装net-tool。
2025-03-05 11:32:46
313
原创 配置hosts
补充：如果你的电脑不允许保存，可将hosts文件移动到桌面进行更改，写完后再移动回原地址。1.在电脑上打开C:\Windows\System32\drivers\etc\hosts。测试方式：用 finalshell新建一个连接，并使用hadoop100这个主机名来连接。1.打开/etc/hostname这个文件，并修改其中的内容，命令是：vi。（三）用finalshell使用hostname来连接虚拟机。2.在hosts中写入如下内容并保存。（二）修改hosts配置。修改完hosts之后，
2025-03-05 11:20:42
235
原创 远程工具finalshell
4.找到刚才建立的连接，点击连接。弹层出现SSH安全警告，选择接受并保存。1.启动finalshell，新建连接。使用finalshell连接主机。
2025-03-05 10:30:10
368
原创 虚拟机配置IP
linux中，ip地址是写在配置文件（/etc/sysconfig/network-scripts/ifcfg-ens33）中，这里使用 vi 编辑器去修改即可！如果不进行设置，每次启动机器时都可能是随机的IP，不方便我们后续操作。注意:这里的第三个部分的10并不是固定的，我们自己可以约定，但是约定之后就要固定下来。让所有的vm配置的虚拟机使用NAT时，它们的网段都是一致的。配置Windows本地虚拟网卡，让本机也可以访问虚拟机。具体设置为：进入虚拟机，修改对应的IP。（3）设置虚拟机的IP。
2025-02-28 15:20:06
405
原创 vi编辑器
1.如果这个文件不存在，此时就是新建文件，编辑器的左下角会提示：new file。提示：在命令模式下按下shift+ zz，可以实现快速保存退出。vi编辑器有三种工作模式，分别是：命令模式，编辑模式，底线模式。当我们通过vi命令第一次打开文件的时候，进入的就是命令模式。2.如果文件已经存在，此时就打开这个文件，进入命令模式。按下o：进入到编辑输入模式后，在当前行的后面添加下一行。4.按下G键（大写g）可以跳到文件的最后一行。按下i：进入编辑模式，定位到当前光标前面。在输入模式下，按下ESC退回到命令模式。
2025-02-28 14:19:54
265
原创 Linux命令(二)
ls命令可以查看文件夹下的文件信息，如果某个文件夹下的文件特别多，使用ls命令时，就只能显示后面一部分文件信息，那如果我们希望查看全部的文件信息，就需要用到管道运算符。我们要去下载安装新的软件时就需要用到它：下载下来的软件大多都是.tar格式，而安装的过程就是解压缩。把1.txt,2.txt,3.txt 压缩到 test.tar 文件（会被自动创建）中。如果这个文件不存在，就会顺手创建这个文件。ls用来显示文件夹下的文件信息，more用来翻页，而 | 就可以把前一个的结果作为输入传递给 more。
2025-02-26 10:03:03
215
原创 Linux命令(一)
1.ls：列出目录内容，包括参数-l（详细列表）、-a（显示隐藏文件）。在 linux 中，使用 touch 命令来创建文件，使用 mkdir 来创建目录。rm -rf /* 将根目录及以下所有递归逐一删除，无需用户确认。3.mkdir -p 命令：创建目录，如果父级目录不存在，就建立一个父级目录。rm -rf 目录 将目录及以下所有递归逐一删除，无需用户确认。mkdir -p aaa/bbb确保父目录名称存在，不存在就建立一个。2. mkdir 命令：创建目录。如 rm -r dir（谨慎使用）。
2025-02-21 15:59:35
147
原创 Linux中[root@localhost ~]#
localhost ：主机名。#：命令提示符，从这个位置开始可以输入命令。如果是 root ，则提示＃root ：当前登录用户。~：当前用户所在的位置。如果是普通用户，提示＄
2025-02-21 15:17:54
221
原创 在VM中安装CentOS
单击鼠标左键进入，通过上下键控制方向，选择如图选项并回车。设置完成后开始安装，安装后重启。按需求选择后点击完成。输入用户及密码后进入。
2025-02-19 11:29:12
157
原创 Scala文件读写案例：成绩分析
score.txt内容如下。姓名，语文，数学，英语。张伟，87，92，88。李娜，90，85，95。王强，78，90，82。赵敏，92，88，91。孙涛，85，82，89。周梅，88，87，93。吴刚，80，85，86。郑洁，91，89，94。陈晨，83，84，88。林峰，86，91，87。
2024-11-26 16:58:31
356
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人