Kubernetes技术分析之资源管理

大数据工程与云原生:Kubernetes应用实践 随着企业数据量以年均40%的速度增长,传统大数据架构在资源利用率(平均低于30%)、弹性扩展(分钟级响应延迟)和成本控制(硬件资源浪费率达40%)方面的瓶颈日益凸显。云原生技术通过容器化封装、微服务架构和动态编排,为大数据工程提供了全新的解决方案。本文聚焦Kubernetes(K8s)这一主流容器编排平台,系统阐述其在大数据集群管理、作业调度、资源优化中的核心机制和实践路径,覆盖从技术原理到生产落地的完整链路。核心概念:解析云原生与大数据工程的技术融合点,构建K8s核心架构认知技术原理。 阅读详情

Docker的流行激活了一直不温不火的PaaS,随着而来的是各类Micro-PaaS的出现,Kubernetes是其中最具代表性的一员,它是 Google多年大规模容器管理技术的开源版本。本系列文章将逐一分析Kubernetes,本文主要通过一个例子介绍Kubernetes的资源管理机制(Limit Range和Resource Quota)。

Kubernetes资源管理

作为一个容器管理平台,难免地会部署多套应用,如果没有合理的资源管理机制,应用对资源的需求是不受限的,那么就很快会耗尽所有资源,影响到其他应用。所以需要对资源进行合理的分配,这是一项需要积累的课题。

资源隔离和限制,这是PaaS的基础能力,Kubernetes对此也有初步的设计,有3 个层次的资源限制方式,分别在Container、Pod、Namespace 层次。Container层次主要利用容器本身的支持,比如Docker 对CPU、内存等的支持;Pod方面可以限制系统内创建Pod的资源范围,比如最大或者最小的CPU、memory需求;Namespace层次就是对用户级别的资源限额了,包括CPU、内存,还可以限定Pod、rc、service的数量。

Kubernetes中有2个元素Limit Range和Resource Quota用来进行资源管理,下面将采用一个例子进行介绍。
注意:kube-apiserver启动参数需要设置“--admission_control=LimitRanger,ResourceQuota...”

示例

首先创建一个namespace,
namespace.yaml:
apiVersion: v1
kind: Namespace
metadata:
name: quota-example

$ kubectl create -f docs/user-guide/resourcequota/namespace.yaml
$ kubectl get namespaces
NAME             LABELS    STATUS
default          <none>    Active
quota-example    <none>    Active

默认情况下namespace是没有资源配额的,现在给namespace设置配额,
quota.yaml:
apiVersion: v1
kind: ResourceQuota
metadata:
name: quota
spec:
hard:
cpu: "20"
memory: 1Gi
persistentvolumeclaims: "10"
pods: "10"
replicationcontrollers: "20"
resourcequotas: "1"
secrets: "10"
services: "5"

$ kubectl create -f docs/user-guide/resourcequota/quota.yaml --namespace=quota-example
$ kubectl describe quota quota --namespace=quota-example
Name:             quota
Namespace:        quota-example
Resource                   Used        Hard
--------                   ----        ----
cpu                        100m        20
memory                     536870912   1Gi
persistentvolumeclaims     0           10
pods                       1           10
replicationcontrollers     1           20
resourcequotas             1           1
secrets                    1           10
services                   0           5


可以看出资源配额包括2方面:
  • 计算资源配额
    cpu Total cpu limits of containers
    memory Total memory limits of containers
  • Kubernetes元素数量限制
    pods Total number of pods
    services Total number of services
    replicationcontrollers Total number of replication controllers
    resourcequotas Total number of resource quotas
    secrets Total number of secrets
    persistentvolumeclaims Total number of persistent volume claims

现在在namespace下创建Pod,
nginx-rc.yaml:
apiVersion: v1
kind: ReplicationController
metadata:
name: nginx
namespace: quota-example
labels:
name: nginx
spec:
replicas: 1
selector:
name: nginx
template:
metadata:
  labels:
    name: nginx
spec:
  containers:
  - name: nginx
    image: nginx

$ kubectl create -f ./niginx-rc.yaml
$ kubectl describe rc nginx --namespace=quota-example
... Error creating: Pod "nginx-" is forbidden: Limited to 1Gi memory, but pod has no specified memory limit


因为Pod没有设置资源限制,Kubeneters会拒绝创建Pod。有2种方法可以解决,一是给Pod配置资源限制,
nginx-rc.yaml:
apiVersion: v1
kind: ReplicationController
metadata:
name: nginx
namespace: quota-example
labels:
name: nginx
spec:
replicas: 1
selector:
name: nginx
template:
metadata:
  labels:
    name: nginx
spec:
  containers:
  - name: nginx
    image: nginx
    resources:
      limits:
        cpu: 100m
        memory: 100Mi

另一种方法是可以设置Pod的默认资源限制:
limits.yaml:
apiVersion: v1
kind: LimitRange
metadata:
name: limits
spec:
limits:
- default:
  cpu: 100m
  memory: 100Mi
type: Container

$ kubectl create -f docs/user-guide/resourcequota/limits.yaml --namespace=quota-example
$ kubectl describe limits limits --namespace=quota-example
Name:       limits
Namespace:  quota-example
Type        Resource     Min    Max    Default
----        --------     ---    ---    ---
Container    cpu         -      -      100m
Container    memory      -      -      100Mi


那么Pod就能创建成功了,那么相应的资源也消耗了:
$ kubectl describe quota quota --namespace=quota-example
Name:            quota
Namespace:        quota-example
Resource                 Used        Hard
--------                 ----        ----
cpu                      100m        20
memory                   104857600   1Gi
persistentvolumeclaims   0           10
pods                     1           10
replicationcontrollers   1           20
resourcequotas           1           1
secrets                  1           10
services                 0           5


Limit Range除了可设置Container之外,也可以设置Pod,
limits.yaml:
apiVersion: v1
kind: LimitRange
metadata:
name: mylimits
spec:
limits:
- max:
  cpu: "2"
  memory: 1Gi
min:
  cpu: 250m
  memory: 6Mi
type: Pod
- default:
  cpu: 250m
  memory: 100Mi
max:
  cpu: "2"
  memory: 1Gi
min:
  cpu: 250m
  memory: 6Mi
type: Container

$ kubectl create -f limits.yaml --namespace=quota-example
$ kubectl describe limits mylimits --namespace=quota-example
Name:   mylimits
Type      Resource  Min  Max Default
----      --------  ---  --- ---
Pod       memory    6Mi  1Gi -
Pod       cpu       250m   2 -
Container memory    6Mi  1Gi 100Mi
Container cpu       250m   2 250m


这个设置为:
1.一个Pod的所有容器内存使用必须在6Mi ~ 1Gi
2. 一个Pod的所有容器的CPU使用必须在250m ~ 2 cores
3. 一个容器的内存使用必须在6Mi ~ 1Gi, 默认是100Mi
4. 一个容器的CPU使用必须在250m ~ 2 cores, 默认是250m
使用Kubernetes管理大规模AI自动化流程 在当今的科技浪潮中,AI技术正以前所未有的速度发展,从图像识别到自然语言处理,从医疗诊断到金融风控,AI的应用场景不断拓展。随着应用规模的扩大,AI自动化流程变得越来越复杂,涉及大量的数据处理、模型训练和部署任务。想象一下,你正在指挥一场盛大的交响乐演出,每个乐手就如同AI流程中的一个任务,而大规模的AI自动化流程就像是一场有上千名乐手参与的超级演出,要让这场演出完美进行,指挥(管理系统)至关重要。 阅读详情

相关推荐

1、云原生DevOps与Kubernetes:技术与实践的全面指南

本文是一份关于云原生DevOps与Kubernetes的全面指南,从云计算的变革到Kubernetes的崛起,详细解析了容器化技术、DevOps实践以及Kubernetes的核心功能与实际应用。内容涵盖Kubernetes集群管理、资源调度、安全策略、持续集成与持续部署(CI/CD)、可观测性及未来趋势,适合开发者、运维工程师和云原生技术爱好者参考学习。

grape的博客 71

Docker(二十)-Docker容器CPU、memory资源限制

背景 在使用 docker 运行容器时,默认的情况下,docker没有对容器进行硬件资源的限制,当一台主机上运行几百个容器,这些容器虽然互相隔离,但是底层却使用着相同的 CPU、内存和磁盘资源。如果不对容器使用的资源进行限制,那么容器之间会互相影响,小的来说会导致容器资源使用不公平;大的来说,可能会导致主机和集群资源耗尽,服务完全不可用。 docker 作为容器的管理者,自然提供了控制容器资源的功能。正如使用内核的 namespace 来做容器之间的隔离,docker 也是通过内核的 cgroups 来

thlzjfefe的博客 987

[UE5蓝图基础二]1.[1d混合空间] 走和跑的动画切换(shift切换)

再双击”run”进去 我们需要给他指定一个动画姿势,这里就需要给他我们前面做的”1d”混合空间,然后可以看到”1d” 上有个speed参数,代表的速度 从前面的逻辑来看需要通过控制速度来切换动画,那么必然不能写死速度,把速度提升为变量传递进来即可,所以就得到以下蓝图节点。混合空间的概念:混合空间就是可以将角色多个动画混合在一起 ,我们创建动画类就是创建个”Animation”文件夹 在文件夹内创建混合空间。我们目前要实现的是一个走和跑的功能 那么创建1d即可。到这一步混合空间已经做完 下一步做”动画蓝图”

qq_30584617的博客 3300

深入理解 Kubernetes 资源限制:CPU

原文地址:https://www.yangcs.net/posts/understanding-resource-limits-in-kubernetes-cpu-time/ 在关于 Kubernetes 资源限制的系列文章的第一篇文章中,我讨论了如何使用ResourceRequirements对象来设置 Pod 中容器的内存...

dianfu2892的博客 852

基于C#的跨平台上位机开发:一次编写,多平台运行

摘要: 本文探讨了如何利用C#进行跨平台上位机开发,以适配Windows、Linux、macOS等多平台需求。通过分析传统单平台开发的局限性(如API差异、硬件接口兼容性),提出基于.NET 5/6/7的解决方案,重点推荐Avalonia(类WPF的跨平台UI框架)和GtkSharp(基于GTK+)实现图形界面。同时,针对硬件通信需求,介绍了System.IO.Ports串口通信和LibUsbDotNet的跨平台支持,并强调多平台调试(VS Code、Docker)的重要性,最终实现一次编码、多端部署的高效

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 1412

银河麒麟V10离线安装VLC播放器:依赖处理与3.0.9.2版本实操指南

在国产化操作系统日益普及的背景下,软件安装方式成为政企内网用户关注的重点。离线安装作为一种不依赖公网源的部署手段,常用于解决内网环境下的软件获取问题。其核心在于理解Linux包管理机制,如dpkg与apt对依赖关系的处理逻辑。掌握这一原理,不仅能应对多媒体软件的部署,也能提升系统维护效率。VLC作为跨平台多媒体播放器,凭借强大的解码能力与协议支持,广泛应用于本地视频播放、RTSP拉流及监控大屏等场景。本文从离线安装的通用概念出发,结合银河麒麟V10桌面版的实际环境,详细梳理了VLC 3.0.9.2离线包的获

weixin_32247165的博客 378

10 个常用监控 Kubernetes 性能的 Prometheus Operator 指标

公众号关注「奇妙的 Linux 世界」设为「星标」,每天带你玩转 Linux !Prometheus Operator 安装完成后会有很多默认的监控指标,一不注意就大量的报警产生,所以...

easylife206的专栏 1万+

MySQL等保三级合规实践:如何安全配置root账户的本地与受信主机登录策略

本文详细介绍了MySQL在等保三级合规框架下如何安全配置root账户的本地与受信主机登录策略。通过分析root账户的特殊保护需求,提供三种安全加固方案,包括限制访问范围、限定登录IP和完全禁止远程登录,并指导创建安全的远程管理账户。文章还涵盖了密码策略强化、日志审计配置和网络层防护等关键合规要求,帮助用户实现MySQL的等保三级全面合规。

weixin_42522964的博客 262

云原生-Kubernetes集群监控指标项详解

Kubernetes集群全方位监控说明

张军伟的技术博客 3956

Synopsys工具链实战:如何用VCS、DC、ICC和Calibre跑通你的第一个数字IC设计项目?

本文详细介绍了如何使用Synopsys工具链(VCS、Design Compiler、ICC和Calibre)完成数字IC设计项目,从RTL代码到GDSII版图的全流程。涵盖环境配置、RTL设计验证、逻辑综合、物理实现及签核验证等关键步骤,帮助工程师掌握高效的数字IC设计流程。

weixin_42525005的博客 199

PTC-6-2004汽轮机性能计算源代码,pycharm-包括试验计算、一类修正、二类修正-以CC350-16.7/0.98/0.5/538/538型汽轮机为例,5万7千字,过程不易欢迎打赏

汽轮机性能计算完整源代码-简化试验-包括试验计算一类修正计算和二类修正计算目录图 1 工程结构。

weixin_43441028的博客 1001

推荐一款高效能的Kubernetes测试工具:aws-k8s-tester

推荐一款高效能的Kubernetes测试工具:aws-k8s-tester aws-k8s-tester 是一个强大的工具集合,专为在Amazon Web Services (AWS)环境中测试Kubernetes而设计。它集成了先进的功能,如资源创建、自动回滚和删除,以及灵活的附加组件配置,使得部署、管理和测试EKS集群变得轻而易举。 1、项目介绍 aws-k8s-tester 主要目标是提供临...

gitblog_00097的博客 524

转义序列字符(\0,\n,\r,\t,\v,\a,\f,\b,\\,\‘,\“,\?)详解,转义字符对应的全称,输出结果和对应的ASCII码值详解;

转义序列字符(\0,\n,\r,\t,\v,\a,\f,\b,\\,\',\",\?)详解,转义字符对应的全称,输出结果和对应的ASCII码值详解;

南城花开过的博客 3万+

kubernetes 插件、操作管理(二)

Kubernetes中,最常见的两种网络方案就是:

youxiao_90的博客 1024

剪映专业版教程:用AI生成音乐MV并重新制作画面—《漂泊与归梦》完全原创实战

本文详细拆解如何用AI生成音乐MV并重新制作画面的全流程。以歌曲《漂泊与归梦》为例,首先用AI将歌词转化为带音乐的MP4文件;导入剪映后分离音频并删除原视频,通过“识别字幕”功能提取歌词文本并逐句核对修正;接着设置“向右擦除”动画并锁定字幕轨道;最后根据歌词意境配置动漫、风景等非真人画面规避审核风险。教程涵盖从AI生成、音频分离、字幕提取到画面重制的每个环节,助你打造完全原创、无侵权风险的音乐短视频。

深耕计算机专业知识与技术。 1079

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

如何在Kubernetes中容器化部署Python-training项目:完整指南

Python-training项目是专为业务分析师和交易员设计的Python培训课程,专注于数值计算和数据可视化。通过容器化部署和Kubernetes管理,可以轻松实现分析工作流的高效运行和扩展。🚀 ## 为什么选择Kubernetes部署Python训练项目? **Kubernetes容器化部署**为Python-training项目带来了革命性的优势。传统的单机部署方式难以应对复杂的分析

gitblog_00006的博客 491

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Kubernetes 核心网络方案与资源管理(一)

场景推荐方案小型集群、简单网络、无高并发Flannel(VXLAN 模式)大型集群、复杂网络策略、高性能需求CalicoFlannel:轻量级 Overlay 网络,通过隧道(VXLAN 为主)实现 Pod 通信,适合小型集群;Calico:基于 BGP 路由的无隧道方案,性能高、支持复杂策略,适合大型/复杂集群。

zjl999666999的博客 1558

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

k8s基础了解和安装

带你从零开始玩转云原生核心技术K8s1、K8s为什么那么火?2、K8s架构、组件、核心资源解读3、云原生核心技术K8s应用领域全方位分析4、京东、阿里、抖音等大厂K8s应用真实案例分享5、开发、运维、测试、网工、DBA、架构师等相关人员如何使用K8S完成本领域工作6、K8S在无人驾驶、航空航天、医疗、智慧城市等领域的应用7、手把手教你安装和配置K8S。

格子杰的博客 255

podspec:Kubernetes Pod规范的最佳实践

podspec:Kubernetes Pod规范的最佳实践 项目介绍 在现代容器化部署中,Kubernetes Pod 规范(Pod Spec)是确保应用安全、稳定运行的关键部分。Pod Spec 的复杂性往往让开发者感到困惑,特别是在安全性和服务质量(QoS)方面。Kubernetes Pod Specification Good Defaults 是一个开源项目,旨在为开发者提供一个简洁、安全...

gitblog_00859的博客 932

云端 RTX4090 GPU 与 Kubernetes 的整合方式

本文探讨了将RTX4090 GPU集成至Kubernetes的架构与实践,涵盖设备插件、资源调度、容器运行时支持及多场景应用,提出性能优化与成本管理方案。

weixin_32005771的博客 1192

K8s API Server:集群的大脑

本文深入解析了Kubernetes核心组件API Server的功能与工作原理。作为集群的"大脑",API Server负责资源管理(CRUD操作)、认证授权和集群状态存储(通过etcd)。其工作流程包括请求接收、认证授权、语义检查和etcd交互。文章还提供了通过curl命令与API Server交互的实践方法,包括获取命名空间和创建新命名空间的具体命令示例,并分析了成功/错误响应的特征。最后针对常见问题(如权限不足、请求失败)给出了解决方案,包括检查kubeconfig文件、网络连接和

fykam的博客 1100

排期总撞车?Teable 日历视图 4 个实战场景一次讲清

周四下午翻下周计划,才发现两个需求订在同一天演示、两个人抢同一个会议室。表格一行行扫过去,根本看不出哪天已经排满了——Teable 日历视图就是干这个的:挑一个日期字段,整张表自动变成按天排列的时间线。读完整文,你能在 10 分钟内给团队建好第一张排期日历。 [![Teable日历视图:按天查看项目排期](https://raw.gitcode.com/GitHub_Trending/te/te

gitblog_00397的博客 707

资源管理与调度框架全面解析

《资源管理与调度框架解析》摘要: 本文系统解析了现代资源管理框架的核心概念、架构设计及行业实践。随着算力规模激增(2024年中国达280EFLOPS)和异构硬件(CPU/GPU/TPU)普及,调度系统需应对资源碎片化、负载多样化等挑战。主流框架如Kubernetes、Apache Mesos采用分层架构,集成智能算法实现毫秒级调度。关键技术包括共享状态调度(微信AstraRay)、多级队列隔离(YARN)及AI增强决策。实践表明,腾讯Gaia平台支持8800节点集群,微信AI平台通过Ray框架将部署复杂度从

油墨香^-^的博客 279
上一篇: 从kubernetes看如何设计超大规模资源调度系统
下一篇: 百度宣布将在Kubernetes上运行其深度学习平台PaddlePaddle
hxpjava1
博客等级 码龄19年 1365粉丝 511原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值