自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(16)
  • 收藏
  • 关注

原创 4.大数据高可用

本文介绍Hadoop HA集群的原理与QJM方案的完整搭建过程。架构层面包含HDFS和YARN的HA两部分,HDFS采用QJM方案通过JournalNode集群实现Active与Standby NameNode之间的editlog共享同步,配合ZKFC实现自动故障转移;YARN通过ZooKeeper实现ResourceManager的Active/Standby选举与状态恢复。详细规划五节点集群(双master+三slave),最后通过模拟Active节点宕机验证故障转移与作业恢复验证高可用架构的完整性

2026-06-03 14:31:35 395

原创 3.大数据架构技术 下——搭建kafka

本文介绍Kafka 4.1.2在KRaft模式下的集群部署。阐明核心角色变动,补充概念及其相互关系。部署部分基于Ansible编写playbook,通过Jinja2模板自动化生成server.properties和systemd服务文件,涵盖环境检查、安装、集群UUID生成、存储格式化、启动及健康检查的完整流程。同时提供手动部署的替代方案

2026-06-03 14:25:35 269

原创 2.大数据架构技术 中——搭建Zookeeper集群

本文介绍ZooKeeper 3.8.6集群的部署与管理。阐述ZooKeeper作为分布式协调服务在Hadoop生态中的定位,涵盖Leader、Follower、Observer三种角色的职责与选举机制,包含ZNode数据模型(持久/临时/顺序四种节点类型)、Watch监听机制和ZAB原子广播协议的核心原理,完整流程部署部分,以及验证部分演示客户端zkCli.sh的基本操作命令。集群管理部分对比AdminServer内置管理接口和zkui第三方Web工具两种方案

2026-06-02 09:15:00 261

原创 1.大数据架构技术 上——搭建分布式Hadoop集群

本文介绍基于Rocky Linux 10环境搭建Hadoop 3.4.3完全分布式集群的完整流程。涵盖HDFS与YARN两大核心组件的概念解析、系统规划、环境初始化。分别演示HDFS和YARN节点的部署、扩容与下线操作,包括数据平衡迁移和优雅退役流程。最后部署Hadoop NFS Gateway服务,通过代理用户机制和rpcbind映射实现HDFS的NFSv3协议挂载访问

2026-06-02 09:00:00 405

原创 doris

本文介绍了使用Ansible自动化部署Apache Doris存算一体集群的方法。部署过程基于Rocky Linux 9.5系统,使用Doris 4.1.0版本和JDK17环境,通过Ansible剧本实现自动化集群诺大一个csdn没有doris标签??? 笑裂

2026-05-25 18:34:14 368

原创 xinference+deepseek-r1-distill-llama本地部署完整流程

Xinference+deepseek-r1-distill-llama本地部署完整流程,包含虚拟机创建、前置环境搭建(yum源更换、显驱安装、配置NVIDIA容器工具包、部署docker服务)、拉取Xinference镜像、下载并启动deepseek模型

2026-02-28 09:00:00 965

原创 扩充k8s端口映射NodePort的默认上限

扩充NodePort高位端口

2025-06-05 21:03:11 373

原创 服务器系统资源统计脚本

巡检脚本笔记

2025-06-03 17:04:17 549

原创 kubernetes存储卷

k8s支持的卷类型多种多样,在此只练习常用的,不常用以及已弃用的类型包括所有参数均可从官方手册中查找。

2025-04-09 20:00:00 869

原创 kubernetes控制器

可以实现批量创建Pods、自维护滚动更新扩容等操作。

2025-04-08 21:00:00 1598

原创 kubernetes服务的管理与权限

测试自动感知测试文件。

2025-04-07 20:22:12 611

原创 污点与容忍策略 & Pod优先级与安全

*Taints(污点)**之前的标签旨在产生Pod与节点的亲和性,污点标签产生的原因在于解决Pod与节点产生的排斥性规则需求,从节点角度排斥 Pod,用于限制 Pod 调度。其声明是通过嵌合在键值对上的污点标签。三种调度策略:尽量不调度:PreferNoSchedulePod会在打分阶段给该节点打最低分,当其它节点可不用时才会使用声明了PreferNoSchedule的节点不被调度:NoSchedule。

2025-04-04 20:15:00 1924

原创 Pod生命周期与资源管理

​ 表示Pod对象从创建直至终止的时间范围,这段范围用于运行复杂的逻辑如启动顺序、依赖关系、生成配置、数据预加载、检测、安装等初始化容器:initContainer容器探针:生命探测:livenessProbe就绪探测:readinessProbe启动探测:startupProbe事件处理函数:启动后回调:PostStart结束前回调:PreStop。

2025-04-03 22:00:00 1829

原创 kubernetes资源清单

--kind: Podmetadata:spec:activeDeadlineSeconds: 60 #容器的最大生命周期terminationGracePeriodSeconds: 15 #等待容器自行退出的最长时间,默认30srestartPolicy: OnFailure #定义容器退出后的重启策略command: [sh] #覆盖镜像启动命令,使用sh作为入口args: #传递给command的参数- -c- |

2025-04-02 23:01:02 614

原创 k8s集群管理

Pod是在Kubernetes中的最小调度单元(管理元素),会自动维护运行的容器。Pod 通常包含一个或多个容器,并共享网络、存储等资源。注意!调度单位是 Pod,不是容器Pod 的创建与调度(如何定义和运行 Pod)容器创建过程用户发请求给api-serverapi-server记录到etcd中api-server给用户返回结果,客户端已经执行完成api-server调用scheduler为容器选择运行的主机scheduler返回容器的调度结果。

2025-04-01 20:06:07 771

原创 本地kubernetes安装部署

搭建本地kubernetes集群架构

2025-03-31 20:01:23 581 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除