- 博客(69)
- 收藏
- 关注
RSS订阅原创 Hadoop大数据平台（下）hdfs高可用、Yarn高可用、hbase高可用
目录一、Hadoop高可用 1、zoomkeeper集群部署 2、hdfs高可用一、Hadoop高可用在典型的 HA 集群中，通常有两台不同的机器充当 NN。在任何时间，只有一台机器处于 Active 状态；另一台机器是处于 Standby 状态。Active NN 负责集群中所有客户端的操作； 而 Standby NN 主要用于备用，它主要维持足够的状态，如果必要，可以提供快速的故障恢 复。 为了让 Standby NN ...
2022-03-30 19:00:11
1414
原创 持续集成与持续交付（下）
目录一、jenkins节点管理二、jenkins用户管理三、Jenkins结合p四、jenkins结合dingding报警五、jenkins结合ansible一、jenkins节点管理实际工作中master节点只负责调度 需要创建agent节点进行工作 本文创建server14作为agent节点进行工作 （为了实验效果 如果内存不够的话 512mi即可 生产环境中内存必须满足生产环境）jenkins安装SSH Build Agents插件二、jenkins用户管理..
2022-03-23 22:24:16
266
原创 持续集成与持续交付（上）
目录一、git工具的使用一、git工具的使用1、git简介Git是一个开源的分布式版本控制系统，几乎所有开源软件用的都是分布式版本系统，其可以有效、高速的处理从很小到非常大的项目版本管理。Git 是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。git特点： 速度 简单的设计 对非线性开发模式的强力支持（允许成千上万个并行开发的分支）完全分布式 有能力高效管理类似 Linux ...
2022-03-16 18:47:53
186
原创 K8s --多节点安装k8s集群和kubesphere集群管理平台
目录一、概念在生产环境中，由于单节点集群资源有限、计算能力不足，无法满足大部分需求，因此不建议在处理大规模数据时使用单节点集群。此外，单节点集群只有一个节点，因此也不具有高可用性。相比之下，在应用程序部署和分发方面，多节点架构是最常见的首选架构。具体安装方法参考官方文档多节点安装https://kubesphere.io/zh/docs/installing-on-linux/introduction/multioverview/一、概念多节点集群由至少一个主节点和一个工作节点组成。
2022-03-15 11:43:02
606
原创 K8s --在 Linux 上以 All-in-One 模式安装 K8s集群
目录一、kubesphere简介二、在linux上以ALL-IN-ONE模式安装kubesphere一、kubesphere简介面向云原生应用的容器混合云，支持 Kubernetes 多集群管理的 PaaS 容器云平台解决方案 | KubeSphereKubeSphere 是在 Kubernetes 之上构建的以应用为中心的多租户容器平台，完全开源，提供全栈的 IT 自动化运维的能力，简化企业的 DevOps 工作流。KubeSphere 提供了运维友好的向导式操作界面，帮助企业快速构建一个
2022-03-15 11:11:10
952
原创 K8s --Helm部署应用
目录一、Helm部署nfs-client-provisioner实验前开始准备工作清理实验环境查看节点是否开启 查看pod是否就绪一、Helm部署nfs-client-provisioner通过helm部署nfs-client-provisioner前应删除之前部署的nfs-client-provisioner 相关pvc和pv都清理干净开始部署可以借助官方查找添加第三方charts到本地仓库，在helm下创建新的nfs目录拉取chart并解压..
2022-03-15 09:27:21
549
原创 K8s --Helm包管理工具
一、Helm简介Helm是Kubernetes 应用的包管理工具，主要用来管理 Charts，类似Linux系统的yum。Helm Chart 是用来封装 Kubernetes 原生应用程序的一系列 YAML 文件。可以在你部署应用的时候自定义应用程序的一些 Metadata，以便于应用程序的分发。对于应用发布者而言，可以通过 Helm 打包应用、管理应用依赖关系、管理应用版本并发布应用到软件仓库。对于使用者而言，使用 Helm 后不用需要编写复杂的应用部署文件，可以以简单的方式在 Kube
2022-03-08 15:13:17
352
原创 K8s --HPA容器水平伸缩
一、什么是HPAHPA的全称为（Horizontal Pod Autoscaling）它可以根据当前pod资源的使用率（如CPU、磁盘、内存等），进行副本数的动态的扩容与缩容，以便减轻各个pod的压力。当pod负载达到一定的阈值后，会根据扩缩容的策略生成更多新的pod来分担压力，当pod的使用比较空闲时，在稳定空闲一段时间后，还会自动减少pod的副本数量。官网：https://kubernetes.io/zh/docs/tasks/run-application/horizontal-pod-aut
2022-03-07 22:06:51
1835
原创 K8s --容器资源监控-Metrics-Server部署、Dashboard可视化
一、什么是Metrics-Server1、Metrics-Server是集群核心监控数据的聚合器，用来替换之前的heapster。 主要监控集群节点容器之间的cpu和memory2、容器相关的 Metrics 主要来自于 kubelet 内置的 cAdvisor 服务，有了Metrics-Server之后，用户就可以通过标准的 Kubernetes API 来访问到这些监控数据。Metrics API 只可以查询当前的度量数据，并不保存历史数据。Metrics API URI 为 /apis
2022-03-07 17:51:21
1744
原创 k8s --容器资源限制
Kubernetes采用request和limit两种限制类型来对资源进行分配。 request(资源需求)：即运行Pod的节点必须满足运行Pod的最基本需求才能运行Pod。limit(资源限额)：即运行Pod期间，可能内存使用量会增加，那最多能使用多少内存，这就是资源限额。资源类型: CPU 的单位是核心数，内存的单位是字节。一个容器申请0.5个CPU，就相当于申请1个CPU的一半，你也可以加个后缀m 表示千分之一的概念。比如说100m的CPU，100豪的CPU和0.1个CPU都是一样
2022-03-07 15:58:02
3321
原创 K8s --voloume配置-- mysql主从集群
mysql[root@server2 mysql]# vim mysql.yamlapiVersion: apps/v1kind: StatefulSetmetadata: name: mysqlspec: selector: matchLabels: app: mysql serviceName: mysql replicas: 0 template: metadata: labels: ...
2022-02-27 23:26:17
648
原创 K8s --k8s访问控制
API Server 是K8s重要的管理API 层。它负责提供restful api访问端点, 并且将数据持久化到etcd server中。Kubernetes 集群中，API Server 扮演着交互入口的位置。API Server 不仅负责和 etcd 交互（其他组件不会直接操作 etcd，只有 API Server 这么做），并切对外提供统一的API调用入口, 所有的交互都是以 API Server 为核心的。kubernetes API 访问控制Authentication（认证）认证.
2022-02-27 21:55:23
451
原创 K8s --K8s调度
k8s调度nodeSelector 是节点选择约束的最简单推荐形式。添加 nodeSelector 字段到 pod 配置中给选择的节点添加标签： kubectl label nodes server3 disktype=ssdkubectl label nodes server3 disktype- 删除节点上的标签 删除节点标签不会影响pod的运行 查看pod运行情况为running 调动器的调度策略在调度过程中生效 如...
2022-02-27 17:12:12
2166
原创 K8s --Volumes配置管理
Volumes配置管理容器中的文件在磁盘上是临时存放的，这给容器中运行的特殊应用程序带来一些问题。首先，当容器崩溃时，kubelet 将重新启动容器，容器中的文件将会丢失,因为容器会以干净的状态重建。其次，当在一个 Pod 中同时运行多个容器时，常常需要在这些容器之间共享文件。 Kubernetes 抽象出 Volume 对象来解决这两个问题。Kubernetes 卷具有明确的生命周期,与包裹它的 Pod 相同。 因此，卷比 Pod 中运行的任何容器的存活期都长，在容器重新启动时数据也会得到保留.
2022-02-26 22:47:39
1171
原创 K8s -- configMap配置管理 、Secret配置管理
清理实验环境configMap配置管理使用字面值创建使用文件创建使用目录创建$ kubectl create configmap my-config-3 --from-file=test 目录中文件名为key，文件内容是value编写configmap的yaml文件删除calico网络策略使用configmap设置环境变量使用conigmap设置命令行参数通过数据卷使用configmapconfigmap热更新...
2022-02-26 13:11:53
1464
原创 Docker --三剑客 --docker-compose
Docker Compose简介Docker Machine 是 Docker 官方编排（Orchestration）项目之一，负责在多种平台上快速安装 Docker 环境。 Docker Machine支持在常规Linux操作系统、虚拟化平台、openstack、公有云等不同环境下安装配置docker host。 Docker Machine 项目基于 Go 语言实现，目前在 Github 上的维护地址： https://github.com/docker/machine/Docker Compo
2022-02-25 21:26:01
141
原创 Docker --三剑客之一 --docker-machine
Docker Machine简介Docker Machine 是 Docker 官方编排（Orchestration）项目之一，负责在多种平台上快速安装 Docker 环境。Docker Machine支持在常规Linux操作系统、虚拟化平台、openstack、公有云等不同环境下安装配置docker host。Docker Machine 项目基于 Go 语言实现，目前在 Github 上的维护地址： https://github.com/docker/machine/Docker M
2022-02-25 15:20:07
719
原创 K8s --calico网络插件
官网：https://docs.projectcalico.org/getting-started/kubernetes/self-managed-onprem/onpremisescalico简介：flannel实现的是网络通信，calico的特性是在pod之间的隔离。通过BGP路由，但大规模端点的拓扑计算和收敛往往需要一定的时间和计算资源。纯三层的转发，中间没有任何的NAT和overlay，转发效率最好。Calico 仅依赖三层路由可达。Calico 较少的依赖性使它能适配所有 .
2022-02-24 22:08:43
694
原创 K8s --ingress通信
一种全局的、为了代理不同后端 Service 而设置的负载均衡服务，就是 Kubernetes 里的Ingress 服务。Ingress由两部分组成：Ingress controller和Ingress服务。Ingress Controller 会根据你定义的 Ingress 对象，提供对应的代理能力。业界常用的各种反向代理项目，比如 Nginx、HAProxy、Envoy、Traefik 等，都已经为Kubernetes 专门维护了对应的 Ingress Controller。部署In...
2022-02-24 17:46:09
305
原创 K8s --k8s通信、创建service
Service 是由 kube-proxy 组件，加上 iptables 来共同实现的.kube-proxy 通过 iptables 处理 Service 的过程，需要在宿主机上设置相当多的 iptables 规则，如果宿主机有大量的Pod，不断刷新iptables规则，会消耗大量的CPU资源。IPVS模式的service，可以使K8s集群支持更多量级的Pod。开启kube-proxy的ipvs模式：# yum install -y ipvsadm //所有节点安装$ ...
2022-02-23 20:38:40
2116
原创 k8s --Pod生命周期（init容器、存活探针、就绪探针）、控制器
实验前准备工作：init容器 # kubectl delete pod demo --force --grace-period=0 强制删除pod
2022-02-23 13:26:37
418
原创 Docker --三剑客之三： docker-swarm构建docker集群
Docker Swarm简介Swarm 在 Docker 1.12 版本之前属于一个独立的项目，在 Docker 1.12 版本发布之后，该项目合并到了 Docker 中，成为 Docker 的一个子命令。Swarm 是 Docker 社区提供的唯一一个原生支持 Docker 集群管理的工具。Swarm可以把多个 Docker 主机组成的系统转换为单一的虚拟 Docker 主机，使得容器可以组成跨主机的子网网络。Docker Swarm 是一个为 IT 运维团队提供集群和调度能力的编排工具.
2022-02-20 21:08:28
598
原创 Docker --docker网络知识详解（原生网络、自定义网络、容器通信、跨主机容器网络）
1、Docker的原生网络docker的镜像是令人称道的地方，但网络功能还是相对薄弱的部分。docker安装后会自动创建3种网络：bridge、host、none
2022-02-19 15:35:06
1107
原创 Docker --docker安全、docker资源控制、docker安全加固
Docker容器的安全性，很大程度上依赖于Linux系统自身，评估Docker的安全性时，主要考虑以下几个方面： Linux内核的命名空间机制提供的容器隔离安全 Linux控制组机制对容器资源的控制能力安全。 Linux内核的能力机制所带来的操作权限安全 Docker程序（特别是服务端）本身的抗攻击性。 其他安全增强机制对容器安全性的影响。命名空间隔离的安全 当docker run启动一个容器时，Docker将在后台为容器创建一个独立的命名空间。命名空间提供了最基础也最直接的隔离。 与虚拟机方...
2022-02-19 13:00:30
970
原创 Docker --docker 数据卷管理
为什么要用数据卷docker数据卷主要用来解决数据持久化问题docker分层文件系统 性能差 生命周期与容器相同docker数据卷 mount到主机中，绕开分层文件系统 和主机磁盘性能相同，容器删除后依然保留仅限本地磁盘，不能随容器迁移docker提供了两种卷：bind mountdocker managed volumebind mount 是将主机上的目录或文件mount到容器里。 使用直观高效，易于理解。 使用 -v 选项指定路径，格式 <host path>
2022-02-18 23:50:20
212
原创 Docker--docker 卷插件
1、docker 卷默认使用的是local类型的驱动，只能存在宿主机，跨主机的volume就需要使用第三方的驱动，可以查看以下链接: https://docs.docker.com/engine/extend/legacy_plugins/#volume-plugins docker官方只提供了卷插件的api，开发者可以根据实际需求定制卷插件驱动。 https://docs.docker.com/engine/extend/plugins_volume/#volume-plugin-protocol..
2022-02-18 22:28:56
1416
原创 Docker --docker配置镜像加速器、搭建本地私有仓库、企业仓库
1、什么是仓库1、配置镜像加速器 （阿里云镜像加速器）注册自己的账号配置加速器后 拉取速度很快 3、搭建本地私有仓库并进行用户认证 真机压缩包转至虚拟机中4、搭建企业级仓库6、 harbor重新登陆项目都在打开内容信任 （仅允许部署通过的镜像）阻止没有签名的镜像进行部署‵内容信任服务器在server1[root@server1...
2022-02-17 19:45:23
473
原创 Docker --docker安装部署、镜像构建、镜像文件详解、镜像优化
1、什么是dockerDocker之父Solomon Hykes：Docker就好比传统的货运集装箱Docker是管理容器的引擎。 Docker为应用打包、部署平台，而非单纯的虚拟化技术2、传统虚拟化与容器技术对比3、容器的优势4、容器的工作原理5、构建容器[westos@westos_student74 ~]$ su -Password:Last login: Mon Jan 17 19:26:59 CST 2022 on pts/6Last failed l
2022-02-16 23:06:22
733
原创 Linux企业运维--Rhel7.6封装虚拟机
一、真机准备1、真机添加私有网段172.25.15.2502、将rhel7.6镜像挂载到/var/www/html/rhel7上二、建立母版虚拟机virt-manager建立新的虚拟机 选用rhel7.6镜像 安装成功后进入界面进行以下操作安装成功进入开始界面按e进入添加selinux=0关闭防火墙完毕后按ctrl+x进入主机界面母盘虚拟机添加ip网段 关闭selinux防火墙和网络管理器 编辑本地解析修改主机名称为server1 配置软件...
2021-12-11 10:50:54
373
原创 Linux企业运维--LVS负载均衡
server1做为调度器：server1为调度器，负载流量均衡[root@server1 ~]# yum install -y ipvsadm[root@server2 ~]# yum install -y httpd[root@server2 ~]# systemctl start httpd[root@server2 ~]# echo server2 > /var/www/html/index.html[root@server2 ~]# ip addr add ...
2021-12-11 09:28:14
175
原创 Ansible中的角色使用
#### ansible roles #####ansible 角色简介#* Ansible roles 是为了层次化,结构化的组织Playbook* roles就是通过分别将变量、文件、任务、模块及处理器放置于单独的目录中,并可以便捷地include它们* roles一般用于基于主机构建服务的场景中,在企业复杂业务场景中应用的频率很高* 以特定的层级目录结构进行组织的tasks、variables、handlers、templates、files等;相当于函数的调用把各个功能切割成片段来执行。
2021-12-07 21:26:57
130
原创 Ansible中的任务执行控制流
##一.循环###循环迭代任务##1.简单循环#loop:- value1- value2- ... ##赋值列表{{item}} ##迭代变量名称
2021-12-07 20:23:50
493
原创 使用Ansible中的playbook
####Playbook#######1.Playbook的功能###playbook 是由一个或多个play组成的列表Playboot 文件使用YAML来写的###2.YAML####简介#是一种表达资料序列的格式,类似XMLYet Another Markup Language2001年首次发表www.yaml.org#特点#可读性好和脚本语言交互性号易于实现适用程序执行流梳理方式可扩展性强#语法简介#在文件中用[---]开始在文件中用[...]结尾次行一般书写文件内容缩进严
2021-12-06 12:00:00
204
原创 Ansible的安装及部署
####1.Ansible对于企业运维的重大意义####Ansible自动化部署可以实现用户级一对多的操作，对企业的工作具有很大的意义。####2.Ansible的安装####实验环境：开启3台虚拟机nodea nodeb nodec真机：ip:172.25.254.74 systemctl enable --now firewalld firewalld-cmd --add-masqueradenodea联网 ip172.25.254.174 GATEWAY:172.25.254.74
2021-12-04 22:46:27
1046
原创 Ansible中的常用模块
##1.ansible实现管理的方式##Ad-Hoc ##利用ansible命令直接完成管理,主要用于临时命令使用场景playbook ##ansible脚本,主要用于大型项目场景,需要前期的规划##2.Ad-Hoc执行方式中如何获得帮助##ansible-doc ##显示模块帮助的指令#格式ansible-doc [参数] [模块...]#常用参数-l ##列出可用模块-s ##显示指定模块的playbook片段##3.ansible命令运行方式及常用参数#格式:...
2021-12-02 21:36:49
259
原创 Ansible中的变量和加密
##1.变量命名##只能包含数字,下划线,字母只能用下划线或字母开头##2.变量级别##全局:从命令行或配置文件中设定的paly:在play和相关结构中设定的主机:由清单,事实收集或注册的任务示例：全局变量：play 主机:变量优先级设定:狭窄范围有限与广域范围#2.在文件中定义变量##4.设定主机变量和清单变量##在定义主机变量和清单变量时使用主机变量：清单变量：#5.目录设定变量#group_vars ##清单...
2021-12-02 16:20:20
145
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人