大数据云原生能力成熟度模型,重磅发布!

大数据_数据中台建设的成熟度评估模型 数据应用能力成熟度可以总结为统计分析、决策支持、数据驱动、运营优化四个结阶段。针对不同的阶段,从企业战略定位、企业数据形态、数据应用场景、数据应用工具、企业组织架构等多个方面、不同特征维度进行参考判定,也就构成了数据应用成熟度模型评估模型。依据这是个阶段的划分准备,企业可以进行数据应用成熟度的自我评测,数据应用能力成熟度越高,则代表数据对业务的支撑能力越强;应用成熟度越低,则意味业务对数据的依赖程度越低。 阅读详情

a845f3fdc5c0a5706b7edcb26c7c3251.gif

为了分享过去一年云原生产业联盟(CNIA)在标准建设、评估测试、技术研究、实践合作等方面的工作成果、探索行业最新趋势动态,云原生产业联盟于2023年1月9日举办了2022年度线上年会,发布了“大数据云原生能力成熟度模型”,并进行了标准解读。

云原生时代,数据系统的技术架构正在多样化用户需求的驱动下快速演进。容器、Serverless、CI/CD、Kubernetes等云原生技术与大数据系统的深度融合,可以有效应对海量、异构、实时的用户数据处理请求。充分利用云原生平台能力实现大数据系统的“云原生”转型升级,已成为行业公认的重要发展趋势。

165abaa12db4028a141529ba1e0d5e5b.png

在此背景下,中国信通院与腾讯云牵头,联合火山引擎、中国电子、东软集团、众安科技、信华信、新华三等单位,经过多轮研讨,形成了《云原生能力成熟度模型 第6部分:大数据平台》。

a3705bfd6f2e8c800c266324cea3882b.png

模型涵盖基础设施、平台研发、应用服务3个能力域,9个过程域,34个能力子项,从资源管理、资源弹性、编排调度、集成兼容、应用管理等方面评估大数据平台的云原生成熟度等级,结果细分为:基础级、全面级、优秀级。

在2023年1月9日举办的2022年度云原生产业联盟年会上,来自腾讯的高级工程师胡子千和火山引擎的云原生计算资深产品专家王磊分别进行了云原生大数据主题分享。

胡子千老师在分享中提到:大数据现存的问题和痛点在于其过于庞大和复杂的架构、繁杂的运维工作、无法共享资源池造成的高昂成本,以及在Hadoop体系下多租户隔离问题。云原生的优势在于降低资源、运维及技术成本、提升大数据服务的交付效率、提升大数据可用性、并且可以结合AI技术,帮助大数据营造良好的云原生的生态。

现阶段,云原生组件大多是随着在线需求成长起来的,在线服务的云原生进度相对更加成熟,而对大数据业务的支撑需要持续完善。大数据的应用特点与在线的应用特点存在运行时间、调度吞吐量、资源弹性、业务延迟、存算分离几个方面的不同。这也导致了在弹性调度、超大规模、高吞吐、存算分离、引擎改造等方面挑战的产生。

腾讯大数据团队基于云原生生态,打造了以存储编排、大数据运行时、混部、统一任务调度、云原生引擎组成的云原生架构,通过构建统一数据编排、虚拟集群架构,remote shuffle 等能力解决大数据云原生化中遇到的存算分离、资源弹性等问题。同时通过大数据运行时能力、在离线混部能力进一步挖掘大数据云原生化的价值,为业务提供低成本、高效、稳定的大数据服务。

d7bf2e7e0448b659aeacbd9dd7362b9b.png

腾讯云大数据源自腾讯内部海量业务的打磨与积累,经过十几年发展到如今的以“云原生、隐私计算和数智融合”为代表的第四代大数据平台。腾讯云大数据的全栈产品矩阵都在向云原生演进:弹性MapReduce容器版于22年7月已开放公测,提供大数据组件完全基于容器服务部署的新体验;22年12月刚推出了CDW-Clickhouse云原生弹性版,采用全新存算分离架构,自研表引擎,提升产品性能的同时降低投入成本,腾讯云ES也上线了云原生版,通过存算分离实现秒级弹性伸缩,承载更强的读写高峰,快速适应业务发展,去除存储/计算冗余从而使成本降低40%。

王磊老师在分享中提到,大数据平台在云原生化后,从部署运维、资源调度、存储介质三个维度体现出了明显优势。

在部署运维方面,传统应用服务需要人工部署在裸金属或云主机上,部署流程低效,监控告警也需要对不同服务器节点进行监控配置和维护;云原生化之后,只需要一键部署,服务迅速拉起且天然支持高可用,运维监控只需要聚焦在统一的基础设施 K8s 集群即可。

在资源调度方面,传统架构需要单独准备服务器资源,业务高峰情况下的扩容需求只能通过提前预留的机器资源进行准备;云原生化之后,流式、批式、搜索引擎、消息引擎等所有计算资源均可以统一在一个大的容器资源池内综合调度分配,响应迅速。

在存储介质方面,传统架构下服务器的存储介质均来源于挂载的硬盘,且各个服务之间有数据流转时,也依赖不同服务器之间的 IO 和网络带宽。在云原生化后,统一负载到具备HDFS文件系统协议的对象存储,以及具备缓存加速能力的文件存储服务,可以实现资源按需使用且无需人工扩容。在大数据 ETL场景下,数据流转均在大数据文件存储CFS内部进行,具备天然高效的磁盘IO和网络带宽。

火山引擎云原生大数据系统目前支撑着字节跳动集团内部各个业务线应用,主要架构可以总结为“三大平台(开放平台、引擎平台、调度平台),一大支撑体系(运维体系)”。其中,调度平台是云原生化后最为核心的平台,针对流式、离线、查询、批处理等不同用户场景,实现资源利用率提升、资源切换灵活、离线资源统一管理三方面价值,可以满足多云部署和调度需求,并通过虚拟队列进行全局的Quota管控,可以考虑机房负责情况、响应时间、成本等等多种负载因素,自动分发合适的机房/集群/队列,满足容灾需求。

7068bdf0f6ce5c4e20cfb0a11af7f55a.png

后续,中国信通院将持续开展“云原生数据服务”相关评估和研究工作,发布云原生大数据研究报告,并更新“云原生产品目录2.0”,助力云原生技术发展和行业创新应用。

掌握云原生成熟度矩阵:架构、维护、交付与基础设施 本文深入探讨了云原生成熟度矩阵的四个关键维度:架构、维护、交付和基础设施。从最初的无过程试错到高度成熟的微服务架构,再到全面可观测性和自我修复的云原生环境,文章详细描绘了软件开发和运维的进化路径。此外,本文还涉及了如何通过持续集成和持续交付(CI/CD)、动态调度/编排(如Kubernetes)以及serverless架构,来实现更加自动化、高效和可靠的云原生应用部署。 阅读详情

相关推荐

云原生成熟度模型(CNMM)标准体系.pdf

云原生成熟度模型(CNMM)标准体系.pdf

浅析云原生

前些年云计算、分布式架构、微服务架构概念比较火热,这一两年,大家提分布式架构、微服务架构的声音少了很多,转而云原生,云原生架构 这些字眼频繁的出现,什么是云原生,云原生架构跟之前提的分布式架构,微服务架构有什么区别呢,带着这样的疑问,我们寻找云原生的定义。当前对云原生的理解各有各的说法,没有一个统一标准化的描述,现在大家看得比较多的一种说法是CNCF最新的对云原生的定义:云原生技术有利于各组织在公有云、私有云和混合云等现代动态环境中,构建和运行可弹性扩展的应用。云原生的代表技术包括容器、服务网格、微服务、不

whalecloud的博客 2596

射频工程师笔记---射频通信基础

回顾一下移动通信技术的发展,其实是互联网和通信技术的融合过程。在这个过程中,很多应用都在不断加入其中。比如计算机跟通信的融合产生了互联网、互联网跟手机的融合带来了移动互联网。手机可以看杂志、看视频、听音乐,于是又出现了内容服务产业;再后来,电视音箱等设备也能联网,于是网络跟家电又产生了融合。所以应用的出现总是在融合其他产业。在1995年,比尔·盖茨在《未来之路》一书中首次提出:在未来...

多年硬件从业经历,热爱学习,记录生活! 2万+

首次全面解析云原生成熟度模型:解决企业「诊断难、规划难、选型难」问题...

从“上云”到“云上”原生,云原生提供了最优用云路径,云原生的技术价值已被广泛认可。当前行业用户全面转型云原生已是大势所趋,用户侧云原生平台建设和应用云原生化改造进程正在加速。然而,云原生复杂的技术栈和传统IT的历史包袱给用户带来了巨大挑战,针对平台建设和应用改造的能力要求缺少统一规范成为企业转型的最大障碍。在用户侧,企业执行层面存在“三难”问题,即诊断难、规划难、选型难,...

阿里巴巴中间件 1011

Django 前后端分离实战:网络设备运维系统 - 从登录认证到业务模块

这篇文章分享了Django+Vue前后端分离开发网络设备运维系统的实战经验,重点介绍了登录认证、全局布局和设备管理三大模块的实现。文章包含以下核心内容: 登录模块实现:包括表单验证、Token认证、记住密码功能,以及美观的UI设计(渐变背景、毛玻璃效果) 全局布局架构:采用侧边栏+顶部导航的响应式设计,支持菜单权限控制和多设备适配 业务功能开发:详细展示了设备分类和部门管理的CRUD功能实现,包括列表展示、搜索过滤、分页等功能 常见问题解决:提供了5个开发中常见问题的解决方案,如Vue Router警告、C

qq_16766705的博客 526

CY7C68013 C0模式启动

C0或是C2启动的目的,是更改USB芯片的ID信息,并把固件载入到芯片内部RAM中运行。C0模式是指只从EEPROM中载入USB ID信息,因为只有ID信息(8个字节),所以只需要一个小容量的EEPROM即可。当然大容量的EEPROM也可以使用C0模式,但是小容量的EEPROM只能使用C0模式启动。如下图所示: 使用小容量的EEPROM要将A0,A1,A2接地。 这里我用了个24LC01,容量1

Fezl的博客 1740

云卷云舒:云原生业务应用成熟度模型

云原生业务应用成熟度模型从企业业务应用基础设施域、应用研发域以及服务治理域等三个能力域二十个过程域综合评估企业业务应用在弹性、高可用、自愈性、可观测性以及自动化等五个维度的云原生能力成熟度水平。自动化能力成熟度 = ⌊(I1+I2+D2+D3+D4+G1+G2+G3+G4+G5+G6+G7+G8+G9)/14⌋。弹性能力成熟度 = ⌊(I1+D1+D2+D4+G1+G2+G5+G6+G7+G8)/10⌋。高可用能力成熟度 = ⌊(I1+D1+G1+G2+G3+G5+G7+G8+G9)/9⌋。

云计算、数据库爱好者 1787

Android 16(API 36)状态栏颜色适配全攻略:从沉浸式到自定义背景

本文全面解析Android 16(API 36)强制沉浸式状态栏带来的适配挑战,提供了从FrameLayout包裹法到动态修改Window背景色的核心解决方案。针对传统状态栏颜色设置失效问题,详细阐述了如何利用WindowInsets API实现自定义背景,并涵盖全屏模式、Fragment切换及第三方ROM兼容性等实战场景,为开发者提供一站式适配指南。

weixin_29227425的博客 598

零信任能力成熟度模型白皮书发布!内附下载资源

华为云重磅发布全球首个《华为云零信任能力成熟度模型白皮书》,向行业展示了华为云安全的新能力和新突破。10月16-17日,2021“天府杯”国际网络安全大赛暨国际网络安全高峰论坛在成都举行,华为云作为主办单位之一,同期举办了华为云云原生安全论坛。论坛上,华为云重磅发布全球首个《华为云零信任能力成熟度模型白皮书》,向行业展示了华为云安全的新能力和新突破。华为云安全总经理曹志源发布白皮书。

m0_61869253的博客 828

零基础学写《扫雷》游戏(Qt扫雷源码)

扫雷游戏是在windows系统中自带的游戏,他的游戏玩法其实很简单,20世纪初期电脑上没有啥游戏可以玩,所以扫雷游戏也算是当时是最常火爆的一个电脑游戏。以下文章详细介绍扫雷游戏的实现。实现语言为C++。

啊渊的专栏 1万+

Proxmox(pve)集群(4)存储(1)配置分布式存储ceph

它使用一种称为CRUSH(Controlled Replication Under Scalable Hashing)算法的数据分布算法来将数据均匀地分布在多个存储节点上,并确保数据的冗余和容错。它负责管理数据的分布、冗余和自动修复。PVE支持本地存储、LVM、NFS、iSCSI、CephFS、RBD、ZFS等存储方式,我这里使用两种存储方式,一种是通过ceph实现分布式存储,一种是通过truenas实现集中式存储。自我管理和自动恢复:Ceph具有自我管理的特性,可以动态地调整和优化存储集群的配置。

Monster✺◟(∗❛ัᴗ❛ั∗)◞✺的博客 2633

ONE NODE 2022 长亭年度发布会:两大新品,全面升级

实现”一体“、“两防”、“三中心”,也就是以长亭攻防能力成熟度框架体系作为核心框架,涵盖传统的“被动防御”和主动式的“交互式防御”,除传统的事件管理外,增加“安全能力运营中心”和“交互式防御指挥中心”,对于整体安全运营的健康度、以及干扰与诱导对手的主动防御部署,都有形象化运营展示。全悉(T-ANSWER)将化身为安全风险运营的流量情报官、高级威胁检测和响应的指挥官、以及智能溯源研判的分析师,快速应对蔓延升级的高级威胁挑战,帮助企业构建新一代网络威胁检测、狩猎、溯源、响应全流程。将会是安全领域最大的赛道。

xhwuli的专栏

Imagenet数据集1000类别中英文

英文 {0: 'tench, Tinca tinca', 1: 'goldfish, Carassius auratus', 2: 'great white shark, white shark, man-eater, man-eating shark, Carcharodon carcharias', 3: 'tiger shark, Galeocerdo cuvieri', 4: 'hammerhead, hammerhead shark', 5: 'electric ray, cram.

识物专栏 1800

云原生+大数据 全栈 解决方案!

首先,企业普遍缺乏掌握大数据技术的专业化人才,很多情况下,企业负责数据人员既要做需求,又要做开发,还要做运维。当然,也有企业选择了云数据架构解决方案,但是在购置云服务时,沿用过去的本地化部署的“超配”思维,资源过度配置,不必要的容量以及环境的可见性不良等问题,导致了云计算成本失控。从古代的“结绳记事”,到现在的“智能仪表盘”,从传统数据到网络数据,从小数据到大数据,变化的只有承载数据的载体和使用数据的方法/技术,而数据作为大千世界的符码,一直存在,且亘古未变。大数据的安全问题,一直是业内的一个难题。

kuangfeng88588的博客 1415

国科大学习资料--人工智能原理与算法-第六次作业解析(学长整理)

国科大学习资料–人工智能原理与算法-第六次作业解析(张文生老师主讲)(6.6、6.7、6.11) 6.6 说明如何通过使用辅助变量把诸如A+B=C这样的三元约束转变成三个二元约束。假设值域是有限的。(提示:考虑引进新变量表示变量对的值,引进约束如“X是Y变量对中的第一个元素”。)然后说明如何把多于三个变量的约束类似地转换为二元约束。说明如何通过改变变量的值域来消除一元约束。这就完整演示了任何CSP都可以转变为只含二元约束的CSP。 答:首先,我们引入一个新变量AB,假设A和B的范围均为N,AB的范围为N×N

无名何许人的博客 2873

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

技术风向标 | 云原生技术架构成熟度模型解读

7 月 18 日(周一)14:00 ,阿里云技术专家将做客直播间,为企业和开发者深度解读云原生技术架构成熟度模型,并介绍云原生架构安全水平,点击下方卡片,立即预约直播~

阿里巴巴云原生的博客 2140

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

浅谈中兴核心网产品CNIA工具使用方式

因此需要自动化、可视化的重大操作工具,根据不同网元的特定要求执行自动化操作,例如:重大操作前资源检查、状态监控、配置核查、数据对比分析等功能。重大操作工具希望能做到可预定义的自动化,即实现自动操作框架,具体动作用脚本预定义,使任务步骤程序化来实现,避免人工出错。3)网络效能分析: 对网元和NFVI资源使用进行分析,给出优化建议。4)重大操作监控:对操作过程及设备状态进行监控,降低操作风险。3)网络效能监控:对网络资源使用效率进行监控,防止资源浪费。1)故障逃生建议和决策,网络优化建议和决策等。

weixin_42602478的博客 552

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

云原生(一) | 介绍篇之大数据需要拥抱云原生吗?云原生为什么这么火?

云原生技术有利于各组织在公有云、私有云和混合云等新型动态环境中,构建和运行可弹性扩展的应用。云原生的代表技术包括容器、服务网格、微服务、不可变基 础设施和声明式 API这些技术能够构建容错性好、易于管理和便于观察的松耦合系统。结合可靠的自动化手段,云原生技术使工程师能够轻松地对系统作出频繁和可预测的重大变更。云原生计算基金会(CNCF)致力于培育和维护一个厂商中立的开源生态系统,来推广云原生技术。我们通过将最前沿的模式民主化,让这些创新为大众所用。

wr_java的博客 546

职场必杀技_达到必杀技:云成熟度的四个层次

职场必杀技 通过从您的应用程序学习企业APM产品,发现更快,更有效的性能监控。 参加AppDynamics APM导览! 云采用是一段旅程,在云平台(公共或私有)上采用微服务可以带来更大的敏捷性,显着的成本节省以及组织的出色弹性。 阅读更多内容以了解考虑的方法和采用DevOps实践是实现“涅rv状态”的最快方法。 出于充分的理由,采用云技术是每个CIO的首要任务。 技术栈正以迅雷不...

danpu0978的博客 281

大数据内容分享(十二):腾讯大数据云原生化的思考与实践

而大数据因为数据计算量很大,会利用数据本地性加速任务的运行。这里以一个spark任务的执行为例,用户在Tenant集群提交一个Spark任务,在k8s集群上会启动了一个 driver pod,然后调度器会根据与该Tenant相关的所有物理集群负载情况进行调度,接着Syncer会把这个pod同步到物理集群上,物理资源启动以后会Pod status反向同步到Tenent,同时driver连接的API Server也会修改到Tenent的API master上,最后新申请的Executor Pod。

之乎者也·的博客 1372

把手伸向大数据平台的云原生,是如何将大数据平台迁移至K8s上的?

我们正身处数据大爆炸的时代,据IDC数据显示,仅在2022年,人类就将创造超过97ZB的数据;要知道截至2012年,人类生产的所有印刷材料的数据量为200PB,仅为2022年一年所创造数据量的50万分之一。据预测,中国数据量规模将从2022的23.88ZB增长至2027年的76.6ZB,年均增长速度CAGR达到26.3%,为全球第一。数据量激增,数据驱动型企业面临更大挑战数据大爆炸对企业的发展机遇...

LinkTime_Cloud的博客 2120

说说大数据的三个“不是”

大数据不一定是复杂的分析 许多人一提到大数据,首先想到的是复杂的数据分析。这让有些希望采用大数据分析工具的用户产生了畏难情绪,也让有些用户产生了误解,认为大数据分析只是那些拥有复杂业务流程和海量数据的大企业的事。市场研究机构麦肯锡的研究人员表示:“要创造新的重大价值,并不一定要采用复杂的大数据分析方法,有时只要能保证数据的可用性或对数据应用进行基本的分析,就能获得所需的重要价值。”不同的企业或一...

weixin_34308389的博客 325
上一篇: 腾讯云大数据获“年度金融科技创新之星”,新一代数据架构首次公布
下一篇: E往无前 | 日志成本下降25%+!腾讯云大数据ES Lucene压缩编码深度优化大揭秘
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值