- 博客(8)
- 收藏
- 关注
RSS订阅原创 启动spark
5.编辑spark-defaults.conf 和 spark-env.sh。驱动器会创建对应的编程入口（SparkContext/SparkSession）主节点：master---资源管理调度和任务的分配（类似yarn）从节点执行计算任务（多个计算任务：每个计算任务会分配一个执行器）从节点会将任务的结果返回到主节点，主节点再继续做相应的操作。7.在UI界面里面添加目录spark-logs。从节点：worker---执行具体的计算任务。4.启动后各节点的正常情况。9.spark的运行架构。
2024-09-12 09:35:24
371
原创 安装Spark
https://archive.apache.org/dist/spark/ 版本：3.5.0。2.配置环境变量：在任意路径下都能访问到spark软件包中的文件或文件夹。1.修改spark软件包的名字：方便后续访问。二.把软件包上传到对应的虚拟机中的主机上。2） 修改spark-env.sh。#添加hadoop文件所在的路径。三.解压到/opt/module。4.修改spark的配置文件。#添加hadoop环境变量。四.部署spark环境。3.生效环境变量的配置。#添加jdk环境变量。
2024-09-05 09:54:07
717
1
原创 打击Hadoop出现的错误
salve2-----------3个。salve1----------2个。master --------3个。在data 输入jps。
2024-04-11 11:08:43
139
1
原创 编辑多个文件
在vi /etc/profile.d/my_env.sh下添加。2.进入hadoop下 在hadoop 下建立一个文件。4.在进入etc下的hadoop下。1.先进入module 里面。
2024-04-02 09:59:52
395
2
原创 jdk的配置和hadoop的配置
查看在software下 再开始写解压命令。传文件到salve1和salve2中。停止NetworkManger服务器。解压之后进入profile.d下。传到salve1和salve2下。并同时在两台虚拟机里进行生效。
2024-03-28 09:37:11
584
2
原创 ip地址与主机名的映射以及三台虚拟机可随时切换
注意：在输入下一条命令时 要从etc下转入到cd下。先给每台虚拟机建立一个密钥 用此上面的命令。修改为 三台主机名和对应的IP地址。注意：每台虚拟机都要进行如下操作。注意：三台虚拟机都要进行此操作。注意：三台虚拟机都要进行此操作。二.三台虚拟机可随时切换。一直回撤到如图所示就好。只需输入cd 就能进入。接下按如下命令进行操作。
2024-03-19 09:49:15
374
1
原创 Hodoop虚拟机克隆+IP地址配置+远程操控
开始远程控制分别改名为master slave1 slave2在远程控制里面关闭防火墙 查看防火墙 并移除防火墙。
2024-03-16 18:11:02
626
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人