云原生AI百宝箱
行万里路,此处相逢,共话云原生A之道。偶逗趣事,明月清风,与君同坐。已出版《Kubernetes:云原生与容器编排实战》,将出版《A大模型原理与场景应用》
展开
-
centos7 搭建 kubernetes1.22.2 集群
这里的关键是正确使用它。此外,这还没有考虑到未来的技术,如非易失性内存,以及较新的内存系统,如intel xpoint,可以使用混合磁盘/内存系统大大扩展主内存。所以,这几条命令,就是将刚刚部署生成的 Kubernetes 集群的安全配置文件,保存到当前用户的.kube 目录下,kubectl 默认会使用这个目录下的授权信息访问 Kubernetes 集群。以上,安装master节点完毕。缓存的压力,使它不交换,除非是绝对必要的,即使这样,你也可以使固定的进程在主内存耗尽的情况下不能MALLOC。原创 2024-04-25 15:40:23 · 243 阅读 · 0 评论 -
Harbor 镜像复制 每 30 分钟发生一次超时
AppData/Roaming/Typora/typora-user-images/image-20221028102845445.png)]你可以 git clone Harbor repo 然后更改上面的harbor/src/pkg/registry/client.go。在harbor.yml配置文件中,修改max_job_workers调整并发数量,提高单个镜像传输的带宽。目前无法从外部配置更改registry客户端的默认超时时间,但可以从代码更改它并自行构建镜像。原创 2022-10-28 20:02:44 · 720 阅读 · 0 评论 -
Harbor镜像层膨胀,占用存储过大
名,默认就是 latest,registry 会从 HTTP 请求中解析到这个 tag 名,然后根据 tag 名目录下的 link 文件找到该镜像的 manifest 的位置返回给客户端,客户端接着去请求这个 manifest 文件,客户端根据这个 manifest 文件来 pull 相应的镜像 layer。如果指的容器存储路径对应的宿主机路径,直接在宿主机上执行也是可以,从上文我们知道registry容器存储目录/storage,对应于宿主机的/data/registry。将本机的路径挂载到容器内。原创 2022-10-28 20:01:01 · 999 阅读 · 0 评论 -
Harbor断电重启postgres报错 could not locate a valid checkpoint record
Harborv2.2.2内置的数据库是postgres9.6.21,服务器突然断电,重启harbor后报错,信息如下。原创 2022-10-28 19:59:04 · 908 阅读 · 0 评论 -
Harbor新建仓库目标提示 the registry is unhealthy
两个harbor需要通过镜像复制策略来同步镜像,在仓库管理添加的harbor状态是unhealthy。原创 2022-10-28 19:57:50 · 2004 阅读 · 0 评论 -
Habor数据迁移方式有多少,skopeo效率最好
skopeo 使用 API V2 Registry,例如 Docker Registry、Atomic Registry、私有Registry、本地目录和本地 OCI 镜像目录。原创 2022-10-21 08:50:07 · 2541 阅读 · 0 评论 -
基于Goland和dlv远程调试Kubernetes组件
一个正常运行的 Kubernetes 集群包含以下的各种组件。通常开发者日常编码都基于Windows/Mac上的IDE(VsCode/Goland),编码完成后再部署到远端Linux机器运行。因此,我们就需要一种基于IDE和dlv远程调试Kubernetes组件的方式,而正是一个不错的选择。delve调试包括附加到进程调试和远程调试。其实附加到本地进程和远程调试原理是一样的,待调试的进程是通过delve启动的,delve会启动进程,并立即附加到进程,开启一个debug session。原创 2022-10-04 23:01:47 · 4554 阅读 · 0 评论 -
基于kube-scheduler-simulator编写自己的调度程序
你可以使用 kube-scheduler-simulator 开发自己的调度程序,它从不需要真正的集群mini-kube-scheduler/minisched 实现帮助你从最少的代码开始。翻译 2022-08-27 10:57:18 · 5615 阅读 · 1 评论 -
k8s实战系列:3-存储的花样玩法(下)
中我们谈论了Docker存储,已经Kubernetes中的配置数据中的ConfigMap和Secret, 接下来我们会讨论下Kubernetes中的临时存储,持久存储等。原创 2022-08-23 17:40:11 · 6771 阅读 · 0 评论 -
k8s实战系列:3-存储的花样玩法(上)
容器中的应用读写数据都是发生在容器的读写层,镜像层+读写层映射为容器内部文件系统、负责容器内部存储的底层架构。当我们需要容器内部应用和外部存储进行交互时,需要一个类似于计算机 U 盘一样的外置存储,容器数据卷即提供了这样的功能。另一方面:容器本身的存储数据都是临时存储,在容器销毁的时候数据会一起删除。而通过数据卷将外部存储挂载到容器文件系统,应用可以引用外部数据,也可以将自己产出的数据持久化到数据卷中,所以容器数据卷是容器进行数据持久化的实现方式。原创 2022-08-23 17:30:05 · 7008 阅读 · 0 评论 -
Kubernetes存储:Ceph架构,部署和使用
无论您是想为和/或服务、部署还是将 Ceph用于其他目的,所有部署都从设置每个、您的网络和 Ceph开始存储集群。一个 Ceph存储集群至少需要一个 CephMonitor、CephManager 和 CephOSD(对象存储守护进程)。运行 Ceph文件系统客户端时也需要 Ceph元数据服务器。(Ceph-mon) 维护集群状态的映射,包括监视器映射、管理器映射、OSD 映射、MDS 映射和 CRUSH 映射。这些映射是 Ceph守护进程相互协调所需的关键集群状态。......原创 2022-08-14 12:46:37 · 6276 阅读 · 0 评论 -
kubernetes多网卡方案之Multus CNI部署和基本使用
一个容器启动后,在默认情况下一般都会只存在两个虚拟网络接口(loopback和eth0),而loopback的流量始终都会在本容器内或本机循环,真正对业务起到支撑作用的只有eth0,当然这对大部分业务场景而言已经能够满足。但是如果一个应用或服务既需要对外提供API调用服务,也需要满足自身基于分布式特性产生的数据同步,那么这时候一张网卡的性能显然很难达到生产级别的要求,网络流量延时、阻塞便成为此应用的一项瓶颈。基于上述痛点和需求,容器多网络方案不断涌现。k8s有一个多网卡规范:K8sNetworkPlumbi原创 2022-06-08 20:48:06 · 1919 阅读 · 1 评论 -
kubernetes GPU共享的困境和破局
kubernetes GPU的困境和破局随着人工智能与机器学习技术的快速发展,在 Kubernetes 上运行模型训练、图像处理类程序的需求日益增加,而实现这类需求的基础,就是 Kubernetes 对 GPU 等硬件加速设备的支持与管理。kubernetes 调度 GPU-使用篇Kubernetes 支持对节点上的 AMD 和 NVIDIA GPU (图形处理单元)进行管理,目前处于实验状态。在 GPU 的支持上,最基本的诉求其实非常简单:我只要在 Pod 的 YAML 里面,声明某容器需要的 G原创 2022-05-23 23:30:00 · 2686 阅读 · 0 评论 -
Kubectl命令再也不用记了,自动补全提示真好
Kubectl命令概览Kubernetes提供的kubectl命令是与集群交互最直接的方式,v1.6版本的kubectl命令参考图如下:Kubectl的子命令主要分为8个类别:基础命令(初学者都会使用的)基础命令(中级)部署命令集群管理命令故障排查和调试命令高级命令设置命令其他命令熟悉这些命令有助于大家来操作和管理kubernetes集群。Kubectl命令行提示Bash命令提示简介kubectl 的 Bash 补全脚本可以用命令 kubectl completion b原创 2022-05-09 08:39:49 · 2995 阅读 · 0 评论 -
K8S实战系列:2-Pod、工作负载与服务
文章系列k8s实战系列: 再谈为什么需要Kubernetes回顾容器,其实是一种特殊的进程而已。现在,你应该可以理解,对 Docker 项目来说,它最核心的原理实际上就是为待创建的用户进程:启用 Linux Namespace 配置;设置指定的 Cgroups 参数;切换进程的根目录(Change Root)Kubernetes 是云原生时代的操作系统Kubernetes 项目所做的,其实就是将“进程组”的概念映射到了容器技术中,并使其成为了这个云计算“操作系统”里的“一等公民”。原创 2022-04-23 19:48:39 · 4708 阅读 · 0 评论 -
kubekey快速安装高可用k8s集群
KubeKeyKubeKey(由 Go 语言开发)是一种全新的安装工具,替代了以前使用的基于 ansible 的安装程序。KubeKey 为您提供灵活的安装选择,您可以仅安装 Kubernetes,也可以同时安装 Kubernetes 和 KubeSphere。KubeKey 的几种使用场景:仅安装 Kubernetes;使用一个命令同时安装 Kubernetes 和 KubeSphere;扩缩集群;升级集群;安装 Kubernetes 相关的插件(Chart 或 YAML)。项目地.原创 2022-05-02 22:54:27 · 6998 阅读 · 0 评论 -
kubespray安装高可用k8s集群
kubespray快速安装高可用k8s集群Kubespray 简介Kubespray (opens new window)是 Kubernetes incubator 中的项目,目标是提供 Production Ready Kubernetes 部署方案,该项目基础是通过 Ansible Playbook 来定义系统与 Kubernetes 集群部署的任务,具有以下几个特点:可以部署在 AWS, GCE, Azure, OpenStack 以及裸机上.部署 High Available Kube原创 2022-05-02 22:52:35 · 4069 阅读 · 0 评论 -
k8s实战系列: 1-再谈为什么需要Kubernetes
k8s系列: 再谈为什么需要Kubernetes容器解决了什么?又遇到了什么问题容器,到底是怎么一回事儿?在Docker出现之前,最为流行的是PaaS 项目。PaaS 项目被大家接纳的一个主要原因,就是它提供了一种名叫“应用托管”的能力。像 Cloud Foundry 这样的 PaaS 项目,最核心的组件就是一套应用的打包和分发机制。更好地模拟本地服务器环境,能带来更好的“上云”体验。Cloud Foundry 会调用操作系统的 Cgroups 和 Namespace 机制为每一个应用单独创建一原创 2022-03-24 18:54:03 · 11073 阅读 · 5 评论