- 博客(16)
- 收藏
- 关注
原创 4.大数据高可用
本文介绍Hadoop HA集群的原理与QJM方案的完整搭建过程。架构层面包含HDFS和YARN的HA两部分,HDFS采用QJM方案通过JournalNode集群实现Active与Standby NameNode之间的editlog共享同步,配合ZKFC实现自动故障转移;YARN通过ZooKeeper实现ResourceManager的Active/Standby选举与状态恢复。详细规划五节点集群(双master+三slave),最后通过模拟Active节点宕机验证故障转移与作业恢复验证高可用架构的完整性
2026-06-03 14:31:35
395
原创 3.大数据架构技术 下——搭建kafka
本文介绍Kafka 4.1.2在KRaft模式下的集群部署。阐明核心角色变动,补充概念及其相互关系。部署部分基于Ansible编写playbook,通过Jinja2模板自动化生成server.properties和systemd服务文件,涵盖环境检查、安装、集群UUID生成、存储格式化、启动及健康检查的完整流程。同时提供手动部署的替代方案
2026-06-03 14:25:35
269
原创 2.大数据架构技术 中——搭建Zookeeper集群
本文介绍ZooKeeper 3.8.6集群的部署与管理。阐述ZooKeeper作为分布式协调服务在Hadoop生态中的定位,涵盖Leader、Follower、Observer三种角色的职责与选举机制,包含ZNode数据模型(持久/临时/顺序四种节点类型)、Watch监听机制和ZAB原子广播协议的核心原理,完整流程部署部分,以及验证部分演示客户端zkCli.sh的基本操作命令。集群管理部分对比AdminServer内置管理接口和zkui第三方Web工具两种方案
2026-06-02 09:15:00
261
原创 1.大数据架构技术 上——搭建分布式Hadoop集群
本文介绍基于Rocky Linux 10环境搭建Hadoop 3.4.3完全分布式集群的完整流程。涵盖HDFS与YARN两大核心组件的概念解析、系统规划、环境初始化。分别演示HDFS和YARN节点的部署、扩容与下线操作,包括数据平衡迁移和优雅退役流程。最后部署Hadoop NFS Gateway服务,通过代理用户机制和rpcbind映射实现HDFS的NFSv3协议挂载访问
2026-06-02 09:00:00
405
原创 doris
本文介绍了使用Ansible自动化部署Apache Doris存算一体集群的方法。部署过程基于Rocky Linux 9.5系统,使用Doris 4.1.0版本和JDK17环境,通过Ansible剧本实现自动化集群诺大一个csdn没有doris标签??? 笑裂
2026-05-25 18:34:14
368
原创 xinference+deepseek-r1-distill-llama本地部署完整流程
Xinference+deepseek-r1-distill-llama本地部署完整流程,包含虚拟机创建、前置环境搭建(yum源更换、显驱安装、配置NVIDIA容器工具包、部署docker服务)、拉取Xinference镜像、下载并启动deepseek模型
2026-02-28 09:00:00
965
原创 污点与容忍策略 & Pod优先级与安全
*Taints(污点)**之前的标签旨在产生Pod与节点的亲和性,污点标签产生的原因在于解决Pod与节点产生的排斥性规则需求,从节点角度排斥 Pod,用于限制 Pod 调度。其声明是通过嵌合在键值对上的污点标签。三种调度策略:尽量不调度:PreferNoSchedulePod会在打分阶段给该节点打最低分,当其它节点可不用时才会使用声明了PreferNoSchedule的节点不被调度:NoSchedule。
2025-04-04 20:15:00
1924
原创 Pod生命周期与资源管理
表示Pod对象从创建直至终止的时间范围,这段范围用于运行复杂的逻辑如启动顺序、依赖关系、生成配置、数据预加载、检测、安装等初始化容器:initContainer容器探针:生命探测:livenessProbe就绪探测:readinessProbe启动探测:startupProbe事件处理函数:启动后回调:PostStart结束前回调:PreStop。
2025-04-03 22:00:00
1829
原创 kubernetes资源清单
--kind: Podmetadata:spec:activeDeadlineSeconds: 60 #容器的最大生命周期terminationGracePeriodSeconds: 15 #等待容器自行退出的最长时间,默认30srestartPolicy: OnFailure #定义容器退出后的重启策略command: [sh] #覆盖镜像启动命令,使用sh作为入口args: #传递给command的参数- -c- |
2025-04-02 23:01:02
614
原创 k8s集群管理
Pod是在Kubernetes中的最小调度单元(管理元素),会自动维护运行的容器。Pod 通常包含一个或多个容器,并共享网络、存储等资源。注意!调度单位是 Pod,不是容器Pod 的创建与调度(如何定义和运行 Pod)容器创建过程用户发请求给api-serverapi-server记录到etcd中api-server给用户返回结果,客户端已经执行完成api-server调用scheduler为容器选择运行的主机scheduler返回容器的调度结果。
2025-04-01 20:06:07
771
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅
1