- 博客(7)
- 收藏
- 关注
RSS订阅原创 OpenGauss介绍与安装
openGauss是一款提供面向多核的极致性能、全链路的业务和数据安全，基于AI的调优和高效运维的能力，全面友好开放，携手伙伴共同打造全球领先的企业级开源关系型数据库，采用木兰宽松许可证v2发行。openGauss深度融合华为在数据库领域多年的研发经验，结合企业级场景需求，持续构建竞争力特性。解压之前需要先创建openGauss文件夹，压缩包里的文件不是放在一个文件夹，需要提前创建。创建文件是遇到权限不够的问题切换到root用户,切换gauss用户下，执行命令，会报错。# 启动数据库服务。
2026-06-07 23:52:20
200
原创 MySQL中如何批量删除海量数据
一个表有1亿6000万的数据，有一个自增ID。最大值就是1亿6000万，需要删除大于250万以后的数据，有什么办法可以快速删除？
2026-05-18 20:08:36
30
原创 Spark 框架基础介绍与安装
2009年，Spark诞生于伯克利AMPLab，伯克利大学的研究性项目。2014年2月成为Apache顶级项目，同年5月发布Spark 1.0正式版本2018年Spark2.4.0发布，成为全球最大的开源项目，目前是Apache中的顶级项目之一。2020年6月Spark发布3.0.0正式版，目前学习的就是3.x。
2026-05-18 19:57:43
204
原创 解决Hadoop集群搭建NameNode高可用时yum install失败的问题
应为镜像文件出现了问题，解决这个问题可能简单，替换镜像就行。切换路径到 /etc/yum.repos.d 路径下。修改完毕后保存就可以执行yum install 命令了。替换 CentOS-Base.repo 文件内容。修改为国内的镜像网站就可以解决。
2026-04-09 19:25:29
19
原创 从零搭建 ResourceManager 高可用，一步到位
第一步：检查mapred-site.xml ,里面只有yarn配置和historyServer的配置，不需要修改。第三步：将mapred-site.xml 和 yarn-site.xml进行同步。访问 standby 节点，自动跳转到 active 节点的 IP 网站。以前配置的yarn以及日志服务的配置不动，添加ha的相关配置。第二步：修改yarn-site.xml。如何查看谁是干活的，谁是备用的呢？第四步：启动yarn。
2026-04-08 19:52:34
37
原创 告别单点故障！Hadoop HA 高可用搭建全流程
集群，指的是集群7*24小时不间断服务。Hadoop中存在单点故障问题：NameNode ResourceManager。当NameNode 或者是 ResourceManager 出现问题宕机，导致整个集群上的服务出现问题，不可以正常运行。解决方案：使用zookeeper集群搭建Hadoop的高可用。（NameNode的高可用）启动两个NameNode ，其中一台Namenode起作用，另一台备用。如果两个namenode都正常工作，这个现象称之为脑裂。
2026-04-08 19:45:48
241
原创 zookeeper介绍与安装
是Google的Chubby的一个开源实现，是Hadoop和Hbase的重要组件。1、zk其实是一个小型的文件存储系统，可以存放少量的数据，这些数据不是什么正儿八经的数据，都是一些关于服务器的小数据。3. 全局数据一致性：每个server保存一份相同的数据副本，client无论连接到哪个server,数据都是一致的。3. 可用于维护和监控存储的数据的状态的变化，通过监控这些数据状态的变化，从而达到基于数据的集群管理。我们可以使用zk搭建集群环境。5. 数据更新的原子性：一次数据的更新要么成功，要么失败。
2026-04-07 20:44:45
326
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人