- 博客(55)
- 收藏
- 关注
RSS订阅原创 mapreduce的工作原理
输入：Map 阶段接收输入数据，通常是键值对（key-value pairs）。处理：Map 函数对输入数据进行处理，生成中间结果。输出：Map 函数的输出是新的键值对，这些中间结果将传递给 Reduce 阶段。： 输入：Reduce 阶段接收 Shuffle 阶段处理后的数据。处理：Reduce 函数对相同键的值进行合并计算，生成最终结果。： 分区：将 Map 阶段的输出数据进行分区，每个分区对应一个 Reduce 任务。合并：将相同键的值合并在一起，准备传递给 Reduce 阶段^2^。
2025-03-31 19:55:25
210
原创 Hadoop集群的常用命令
hadoop fs -put <local> <hdfs>: 从本地复制文件到HDFS。- hadoop fs -get <hdfs> <local>: 从HDFS复制文件到本地。- hadoop fs -du -h <path>: 显示目录/文件大小。- hadoop fs -rm -r <path>: 递归删除目录。- hadoop fs -cp <src> <dst>: 复制文件。- hadoop fs -mv <src> <dst>: 移动文件。- start-yarn.sh: 启动YARN。
2025-03-31 19:52:32
169
原创 如何调整yarn.nodemanager.vmem-pmem-ratio参数？
找到 yarn-site.xml 文件，该文件通常位于 Hadoop 配置目录中，例如 /etc/hadoop/conf 或 /opt/module/hadoop-3.1.3/etc/hadoop。监控内存使用：调整参数后，建议通过 YARN 的资源管理器界面（如 http://<ResourceManager-IP>:8088）监控作业的内存使用情况，确保调整后的配置能够满足需求。节点差异化配置：如果集群中的节点硬件配置差异较大，可以根据不同节点的实际情况分别调整 yarn-site.xml 文件。
2025-03-25 08:21:50
363
原创 hadoop集群配置-scp拓展使用
在hadoop102上，将hadoop101中/opt/module/hadoop-3.1.3目录拷贝到hadoop102上。中/opt/module目录下所有目录拷贝到hadoop10。上操作，将hadoop10。分析：使用scp进行拉取。分析：使用scp进行搭桥。登录hadoop101。
2025-03-17 13:19:56
352
原创 hadoop集群配置-scp命令
如果要拷贝的是文件夹，就把文件夹下的内容都拷贝。这台机器中已经安装了jdk和hadoop。都已经创建好了/opt/module。目的地用户@主机:目的地路径/名称。/opt/software两个目录。要拷贝的文件路径/名称。2. 进入到hadoop10。
2025-03-17 13:18:01
138
原创 在虚拟机上安装Hadoop
请注意，我们已经将hadoo解压到了/opt/module/hadoop-3.1.3目录下。先用finalshell将hadoop- 3.1.3. tar.gz导入到opt目录下面的software文件夹下面，然后解压,最后配置环境变量。使用hadoop version 检查hadoop是否安装成功。1.使用finalshell上传。这里直接鼠标拖动操作即可。这个命令的功能与解压java类似，这里不再重复解释了。使用source命令让配置文件生效。保存并退出，按下:wq并回车。(3)让修改后的文件生效。
2025-03-06 17:23:01
254
原创 在虚拟机上安装java
用FinalShell传输工具将JDK导入到opt目录下面的software文件夹下面(opt/software文 件夹是我们自己创建的)
2025-03-06 17:12:07
478
原创 虚拟机设置IP
linux中，ip地址是写在配置文件（/etc/sysconfig/network-scripts/ifcfg-ens33）中，这里使用 vi 编辑器去修改即可！如果不进行设置，每次启动机器时都可能是随机的IP，不方便我们后续操作。注意:这里的第三个部分的10并不是固定的，我们自己可以约定，但是约定之后就要固定下来。让所有的vm配置的虚拟机使用NAT时，它们的网段都是一致的。配置Windows本地虚拟网卡，让本机也可以访问虚拟机。具体设置为：进入虚拟机，修改对应的IP。（3）设置虚拟机的IP。
2025-02-26 19:04:28
561
原创 vi编辑器的使用
1.如果这个文件不存在，此时就是新建文件，编辑器左下角会提示：new file。提示：在命令模式下按下shift + zz，可以实现快速保存退出。4.在命令模式下，按下G键(大写g)可以跳到文件的最后一行。5.在命令模式下，按下gg键(两个小g)跳到文件的第一行。2.如果文件已存在，此时就打开这个文件，进入命令模式。2. nyy（n+两个小y）复制当前行往下n行内容。vi编辑器三种模式：命令模式，输入模式，底线模式。2.ndd（n+两个小d）用来删除当前行往下n行。1. p（小写p）在当前行的下一行粘贴。
2025-02-25 13:40:57
170
原创 Linux常用命令
rm -rf /* 将根目录以下所有递归逐一删除（俗称删库跑路），特别小心使用！rm -rf：删除目录无需用户确认。例：rm -rf ./bbb 将目录及以下递归逐一删除。例：rm file.txt。它会给出一个提示，让用户确认之后再删除。mkdir -p：创建目录，如果父级目录不存在，就建立一个父级目录。rm -f：删除文件无需用户确认。例：rm -f file.txt。touch ：创建一个空文件。rm -r：删除目录。例：rm -r dir（谨慎使用）。mkdir：创建目录。
2025-02-19 16:00:56
125
原创 vmware虚拟机安装教程
准备工作下载 VMware 软件：访问VMware 官方网站，下载适合自己操作系统的 VMware Workstation Pro 安装包。准备操作系统镜像文件：根据想要在虚拟机中安装的操作系统，提前下载好相应的 ISO 镜像文件。比如要安装 Windows 10，就需要下载 Windows 10 的 ISO 镜像文件。安装 VMware 软件
2025-02-18 12:50:26
334
原创 11.20梦想清单管理
1. 使用 case class 定义DreamItem类。它的属性有: 内容, 是否完成, 截止日期， 优先级。2. 定义可变 Array 来保存DreamItem。7. 把优先级排名前5的梦想保存到一个新的列表中。4. 将第2个梦想设置为已完成。6. 根据优先级进行从高到低排序。5. 调高第3个梦想的优先级。任务背景： 梦想清单管理。8. 循环输出梦想列表。
2024-11-20 16:31:49
167
原创 设计一个Point类，其x和y可以通过构造器提供。再设计一个子类Label类继承Point类，其构造器接收一个标签值和x，y坐标
【代码】设计一个Point类，其x和y可以通过构造器提供。再设计一个子类Label类继承Point类，其构造器接收一个标签值和x，y坐标。
2024-10-21 16:26:28
101
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人