- 博客(113)
- 资源 (20)
- 收藏
- 关注
RSS订阅原创 105-Spark之Standalone HA环境搭建过程
的，其他的都是Standby。当Active的Master出现故障时，另外的一个StandbyMaster会被选举出来。，包括Worker，Driver和Application的信息都已经持久化到文件系统，因此在切换的过程中只会影响新job的提交，对。原因: 配置文件中固定master是谁, 那么就无法用到zookeeper的动态切换master功能了.2.7在node1节点上启动Master 同时读取worker的配置去启动worker。【如果没有配置过zookeeper的同学可以看我的上一篇文章】
2025-12-16 17:00:47
685
原创 104-Zookeeper集群搭建[leader+follower模式]
在node1主机上，解压zookeeper的压缩包到/export/server路径下去，然后准备进行安装。5.2在node2机器上建立软连接, 并修改myid的值为2。5.3在node3机器上建立软连接, 并修改myid的值为3。分别查看一下node1、node2、node3的启动状态。三台机器分别启动zookeeper服务！5.1 第node1上面执行以下两个命令。到此为止zookeeper集群搭建完毕!
2025-12-16 15:03:15
393
原创 103-Spark之Standalone环境测试
通过测试我们发现 Standalone 环境和 Local环境完全不一样；因为Local将master和worker工作还有Driver的工作都做了；但是在 Standalone 中 master Driver worker都是独立的进程。当我们结束 ./pyspark的时候，仅仅是结束了Driver进程，其他的进程没有结束！我们在浏览器中打开node1:4040 发现无法打开，因为刚刚听错ctrl+d退出了，我们通过node1:8080发现可以正常打开。注意检测端口是: node1:18080。
2025-12-15 16:59:52
302
原创 102-Spark之Standalone环境安装步骤-2
2.接下来分别在node2和node3上面创建spark的软链接，操作方式相同，下面是node3节点上操作过程。3.检查环境变量配置 主要看JAVA_HOME YARN HDFS配置。通过vim conf/spark-env.sh 查看webUI的端口。看到上面的截图，证明node2和node3节点均分发spark完毕。看到这里，恭喜你集群启动成功了！4.启动Spark集群。
2025-12-15 14:54:22
178
原创 101-Spark之Standalone环境安装步骤-1
分发spark,目前就node1上面有spark我们将它分发给node2和node3。为了便于操作spark安装也是用hadoop用户，回到node1节点下。node1：Spark的master进程和1个worker进程。整个集群提供1个master进程和3个work进程。node2:Spark的一个worker进程。node3：Spark的一个worker进程。接下来配置node2 节点 bashrc。配置环境变量【node2和node3】node3节点的bashrc配置同上。
2025-12-11 19:13:56
393
原创 98-爬取租房网站信息-1
import aiohttp #异步的网络请求模块。import asyncio #异步请求。操作系统：windows11。语言：Python3.10。开发环境：PyCharm。#导入伪造头部的信息。
2025-11-24 15:19:01
262
原创 97-爬虫Beautiful Soup模块
BeautifulSoup是由Python编写的HTML/XML数据提取库，采用MIT License授权，支持Linux、macOS、Windows平台。其最新版本为4.13.5（2025年8月24日更新），体积621.1 KB。该库基于解析器构建，提供迭代、搜索、修改解析树的功能，兼容Python3环境。用户可通过系统包管理工具或pip安装beautifulsoup4，注意区别于旧版BeautifulSoup3。安装时需注意Python版本差异导致的代码转换问题，建议重新安装以解决常见导入错误。
2025-11-20 12:05:25
193
2原创 71-Python+MySQL 医院挂号问诊管理系统-1
项目概述本系统是一个命令行版医院挂号问诊管理系统，主要面向医院管理员或挂号员，用于管理患者挂号、医生排班、就诊记录等核心业务。核心功能模块1.患者管理 (Patients)添加新患者查看所有患者查找患者（按姓名或ID）2.医生管理 (Doctors)添加医生查看所有医生查找医生3.科室管理 (Departments)查看所有科室4.挂号管理 (Registrations)为患者挂号（选择科室、医生）查看所有待就诊挂号处理挂号（标记为已就诊）查看历史就诊记录5.退出系统。
2025-09-16 16:02:01
389
原创 68-python操作SQLite
rollback() 回滚 撤销所有的操作。注：上述文字内容来源于百度百科。commit() 提交事务。close() 关闭资源。
2025-09-15 11:24:23
339
sqlserver启动停止bat文件
2011-12-19
jsp+servlet实现书城1
2018-09-13
jsp+servlet实现书城2
2018-09-13
jsp+servlet实现书城3
2018-09-13
jsp+servlet实现书城6
2018-09-13
jsp+servlet实现书城4
2018-09-13
jsp+servlet实现书城5
2018-09-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人