- 博客(20)
- 收藏
- 关注
RSS订阅原创 大数据项目综合实战
3进入/opt/module/zookeeper/conf 修改zoo.cfg 名字 并编辑。6 在opt下创建一个bin 目录 编辑hdp.sh Hadoop启动脚本。10复制hdp.sh 编辑启动zookeeper脚本 编辑zk.sh。5配置 环境变量 并向node2 node3 传。2.进入/opt/module 修改名字。11 向node2node3 传环境变量。12启动zookeeper并查看状态。9编辑xcall.sh 修改权限。8 用脚本启动查看命令。7chmod修改权限。
2025-03-07 10:52:43
169
原创 Efak连接
编辑 config.properties配置文件。创建字段 ctrl+s输入表名student。在navicat的student表上添加字段。启zookeeper kafka efka。开启navicat 创建student表。（显示的节点）若连接不上 可能是进程掉了。没有utf8的可以选utf8mb4。创建好数据库后新建连接 数据库。开启另一台节点 slave1。slave1启动连接。
2024-11-18 11:46:39
275
1
原创 Kafka
1.启动节点 zookeeper kafka2.查看服务端的配置文件 CTRL+Z停止3.杀死kafka进程4.让日志在后台运行5创建一个CF_topic主题日志 并查看6.在控制台上用生产者（producer）创造数据 ， 在消费者（consumer）上显示7 停止kafka进程 编辑配置文件删除topic功能 delete.topic.enable=true
2024-11-04 09:40:17
248
原创 Spark Sql-结构化数据处理
Spark SQL 编程入口对象-----SparkSession。* b. csv----csv(file) file:文件的路径。* d. 数据库---jdbc(url,table,prop)* （2）.format()-----指定输入数据源的格式。* 2数据查询-----对DataFrame进行查询。* 3数据存储-----对DataFrame进行存储。* 行：row---纪律。* 1数据读取——---创建DataFrame。* a.文本--text(file)
2024-10-31 09:29:52
312
1
原创 Zookeeper
1.帮团队保持同步，确保大家都在做正确的事情2.管理一些关键资源，避免大家相互争夺3.当团队中有某个组件出现问题时，确保有别的组件帮忙。保证整个项目正常运行。
2024-10-28 09:52:47
418
原创 Hadoop平台搭建 IP与主机名的映射与免密登录
1.打开三台虚拟机2.进入etc目录输入命令：vi hosts将hosts里面的内容dd（全部删除）输入IP地址 wq保存退出用ping命令测试本机和目标主机是否联通 ctrl+c退出完成后IP与主机名的映射也完成了（三台机子重复相同的工作即可）
2024-03-19 11:12:13
439
原创 Hadoop平台搭建 虚拟机的构建与远程连接
自己的IP地址 就是上面IP addr出现的IP 输入。10.查看主机的ip 地址 ： ip addr 记住IP 后面远程连接使用。查看防火墙状态： systemctl status firewald.service。12.开始对虚拟机进行远程连接 使用到的软件MobaXterm或者Xshell。14.连接成功后， 重启网络服务，并且关闭移除防火墙，查看防火墙的状态。6.编辑虚拟机设置 对不用的设备进行移除。5.点击完成 后，初步完成虚拟机的创建。对 IP，子网掩码和网关进行设置。
2024-03-15 11:52:25
1045
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人