云原生(一) | 介绍篇之大数据需要拥抱云原生吗?云原生为什么这么火?

字节跳动云原生大数据平台运维管理实践 字节跳动过去几年在支撑自身业务的过程中积累了很多大数据领域的引擎工具,目前也在探索将这些引擎工具的能力进行标准化、产品化的输出。组件繁多:大数据领域完成一项工作需要很多组件配合。比如分布式大数据存储及各种任务执行引擎:Flink、Spark 及各种 ETL 的 OLAP 工具和调度 ETL 的任务调度工具,还有支撑工具引擎的运行日志监控系统和项目用户权限的辅助系统等;部署复杂:这些系统的组件繁多,相互配合也非常复杂,导致部署变得困难。比如部署一套完整的生产环境,可能会涉及到多个依赖和配置管理。 阅读详情

​一、前言

随着各种云平台、云计算的兴起,云原生的概念应运而生,至于什么是云原生下面的会详细介绍。作为大数据领域的开发者,如看待云原生的技术,需要深入学习它吗?我觉得云原生和大数据有着密切关系,云原生好比一把武器,如果你是一个武林高手,是拿一把神器去参加比武,还是拿着一根树枝和别人比武,结果很显然。

二、从招聘需求来看大数据和云原生

1、云原生开发工程师

2、大数据工程师

简单对比一下,或多或少有共同掌握的内容,都比较重视你在 Java 语言的编程经验

三、云计算的技术革命

1、互联网时代的历程

2、云计算到底是什么

3、云计算历程

4、名词

5、云平台的优缺点

优势

  • 稳定性:云平台大量资源,分布式集群部署,保障服务永不宕机,几个 9;0.999999,1

  • 弹性扩展:按需索取,一键秒级开通需要的资源

  • 安全性:云上平台生产级可用的完善权限系统

  • 成本:初期计算资源成本极低,后期更是大量降低运维成本

  • 易用性:各大云商都有 Web 管理控制台,可视化,智能化便捷操作

缺点

  • 公有云,服务资源被第三方管理,不符合特殊级别的安全场景

  • 私有云,搭建、维护、升级成本大

四、云计算技术架构演进变革

1、体系变革

2、架构变革

单体架构阶段

集群架构阶段 

分布式架构阶段

分布式和集群的简单区别? 

很多机器:都可以叫集群

不同服务部署到不同服务器:才能称为分布式

微服务架构阶段

网格化架构阶段

五、云上的挑战

1、云上挑战

  • 云机器资源编排

  • 云存储方案

  • 云负载均衡方案

  • 云缓存方案

  • 云持久化

  • 云运维

  • 云监控

  • 云容器技术

  • 云 DevOps

  • 云安全防护

2、技术变革

六、云原生的生态系统

1、常见技术

完整云原生平台基础研究量

  • Docker、Docker Compose:容器化技术

  • Kubernetes:大规模容器编排

  • Helm:云原生应用商店

  • Rancher:易用的容器管理平台

  • KubeSphere:一站式容器云平台

  • OpenTracing:云原生链路追踪标准

  • Jaeger:云原生链路追踪实现产品

  • Istio:ServiceMesh 下的服务流量治理

  • Jenkins、JenkinsX、Jenkins-BlueOcean:老牌的 CI/CD 平台

  • Gitlab/hub-CICD:Gitlab/hub 自带的 CICD

  • Argo:kubernetes 声明式持续集成

  • Nexus:Maven 私库

  • Habor:Docker 私库

  • Prometheus+Grafana:监控与可视化方案

  • ElasticSearch+Fluentd+Kibana:日志与可视化方案

  • Serverless:无服务器上云方案

  • SpringCloud Kubernetes:微服务上云方案

七、云原生的概念

1、专业术语

2、 云原生的定义

  • 云原生技术有利于各组织在公有云、私有云和混合云等新型动态环境中,构建和运行可弹性扩展的应用。云原生的代表技术包括容器、服务网格、微服务、不可变基 础设施和声明式 API

  • 这些技术能够构建容错性好、易于管理和便于观察的松耦合系统。结合可靠的自动化手段,云原生技术使工程师能够轻松地对系统作出频繁和可预测的重大变更。

  • 云原生计算基金会(CNCF)致力于培育和维护一个厂商中立的开源生态系统,来推广云原生技术。我们通过将最前沿的模式民主化,让这些创新为大众所用。

3、云原生学习路线图

云原生 DaaS 服务:实现数据驱动的创新和价值(数据库、缓存、大数据等) 云原生数据即服务(DaaS)是一种基于云计算和云原生理念构建的数据管理和分析服务。它提供了一系列数据管理的工具和服务,其中包括了数据存储、数据集成、数据处理、数据分析等功能,帮助企业更加高效地管理和利用数据资源,实现数据驱动的业务创新和价值提升。云原生 DaaS 服务是云计算发展的必然趋势,它为企业提供了一种全新的数据管理和分析解决方案,帮助他们更好地管理和利用数据资源,实现数据驱动的业务创新和价值提升。 阅读详情

相关推荐

2024最新大数据架构趋势:云原生与湖仓一体实战指南

云原生大数据(Cloud-Native Big Data)是指基于云平台设计理念,将大数据计算、存储、调度等组件拆分为独立服务,通过容器化、编排、Serverless等技术实现"资源按需分配、服务弹性伸缩、架构松耦合"的新型架构。弹性伸缩:计算资源与存储资源解耦,可独立扩缩容,峰值时自动扩容,低谷时释放资源,资源利用率提升至80%以上。按需付费:基于云平台"按量计费"模式,避免闲置资源浪费,某互联网企业大数据成本降低35%。简化运维。

Java大师兄的博客 805

云原生+大数据 全栈 解决方案!

首先,企业普遍缺乏掌握大数据技术的专业化人才,很多情况下,企业负责数据人员既要做需求,又要做开发,还要做运维。当然,也有企业选择了云数据架构解决方案,但是在购置云服务时,沿用过去的本地化部署的“超配”思维,资源过度配置,不必要的容量以及环境的可见性不良等问题,导致了云计算成本失控。从古代的“结绳记事”,到现在的“智能仪表盘”,从传统数据到网络数据,从小数据到大数据,变化的只有承载数据的载体和使用数据的方法/技术,而数据作为大千世界的符码,一直存在,且亘古未变。大数据的安全问题,一直是业内的一个难题。

kuangfeng88588的博客 1414

ArcGIS插值可视化气象数据

前言 地图底图的制作和气象数据的预处理见我上两篇博客 ArcGIS精美中国地图制作(详解) python处理日值气象数据 在前面我们已经将日值的地温数据处理成了年均地温,添加了站点经纬度坐标并导出为excel格式。 得到如下数据: 导入数据 在Arcmap中 文件-添加XY数据 将年均地温和站点位置数据导入。 注意:excel表格的格式要另存为97-2003工作簿形式,否则会有"arcgi...

江北20190411的博客 2万+

大数据内容分享(十二):腾讯大数据云原生化的思考与实践

而大数据因为数据计算量很大,会利用数据本地性加速任务的运行。这里以一个spark任务的执行为例,用户在Tenant集群提交一个Spark任务,在k8s集群上会启动了一个 driver pod,然后调度器会根据与该Tenant相关的所有物理集群负载情况进行调度,接着Syncer会把这个pod同步到物理集群上,物理资源启动以后会Pod status反向同步到Tenent,同时driver连接的API Server也会修改到Tenent的API master上,最后新申请的Executor Pod。

之乎者也·的博客 1372

LDPC码介绍:基础&编码&译码

本博客介绍了LDPC码的基本原理,其中包括校验矩阵的构造、Tanner 图和编译码的基础知识。

渺小的颗星的博客 4309

Scipy优化踩坑实录:trust-constr和SLSQP约束定义到底差在哪?

本文深入解析了Scipy优化模块中trust-constr和SLSQP两种方法在约束定义上的差异。通过对比面向对象的trust-constr和字典式定义的SLSQP,揭示了它们各自的优势与适用场景,帮助开发者在有约束优化问题中选择合适的算法,提升计算效率与准确性。

weixin_42573113的博客 270

拥抱云原生

├── 215、高可用集群-搭建12-controller-manager组件启动完成。├── 122、k8s工作负载-Deployment-滚动更新暂停与恢复等。├── 123、k8s工作负载-Deployment-按比例缩放的滚动更新。├── 166、k8s存储-卷挂载-hostPath、emptyDir方式。├── 216、高可用集群-搭建13-kubelet-kubectl的配置。├── 205、高可用集群-搭建-02-配置ipvs&安装docker。

niwoxiangyu的博客 770

《QMT量化实战系列》支持自定义筛选与排序的多因子策略,实测年化收益超100%

【QMT量化实战系列】推出《支持自定义筛选与排序的多因子策略》,通过Tushare获取38个核心因子数据,实现股票多维筛选(剔除ST股、次新股及特定板块)。策略创新性地采用多因子加权排名机制,通过(股票数-排名+1)/股票数*100的算法计算各因子得分,支持自定义权重组合。该策略提供完整代码及详细注释,涵盖数据获取、因子筛选、权重排序等核心环节,帮助用户构建个性化量化模型。系列内容每月更新1-2期,由浅入深讲解QMT平台实战应用。

qq_46262068的博客 1255

Fluid: 让大数据和 AI 拥抱云原生的一块重要拼图

简介:如何驱动大数据、AI 应用在云原生场景下高效运行是一个既有理论意义又具应用价值的重要挑战性问题,为系统化解决相关问题,学术界和工业界密切合作,南京大学 PASALab 副研究员顾荣博士、阿里云容器服务高级技术专家车漾、Alluxio 项目创始成员范斌博士联合推动发起了 Fluid开源合作项目。作者 | 顾荣、车漾、范斌得益于容器化带来的高效部署、敏捷迭代,以及云计算在资源成本和弹性扩展方面的天然优势,以 Kubernetes 为代表的云原生编排框架吸引着越来越多的 AI 与大数据应用在其上部署和运行。

阿里云开发者 1628

MacOS Intel芯片实战:Docker Compose一键部署Dify全流程解析

本文详细解析了在搭载Intel芯片的MacOS系统上,使用Docker Compose一键部署开源LLM应用开发平台Dify的全流程。内容涵盖环境准备、Docker配置与镜像加速、代码拉取与配置初始化、服务启动与问题排查,以及访问验证与初步探索,旨在帮助开发者快速在本地搭建私有化AI应用开发环境。

ik678901234的博客 618

【强化学习的数学原理-赵世钰】课程笔记(一)基本概念

在B站上学习强化学习的课程笔记,笔记非常详细清晰,会持续更新

qq_64671439的博客 1万+

大数据拥抱云原生 HashData助力资管数字化转型

5月16日,酷克数据副总裁魏一在出席2023资管大会时表示,在大数据+云计算时代,HashData云数仓能够高效整合内外数据源,灵活管理与分析非结构数据,助力资管机构提质增效。

m0_54979897的博客 518

消息平台接入实战:Hermes Agent 实现微信/钉钉日常任务自动化的 4 步配置

揭示 Hermes Agent 接入微信/钉钉时高频失效的根本原因——非 API 调用问题,而是上下文边界缺失;详解通过 soul.md 锁定人格基线、skills/ 目录原子化封装技能、CLAUDE.md 控制记忆节奏、Docker 环境适配四步构建可信赖自动化信任链,并给出身份证号过滤、中文标点

weixin_42520239的博客 162

真正的云原生大数据平台,让Kubernetes又牛了一把

作为一款开源的容器编排引擎,始于2014年的 Kubernetes 一经推出就受到了开发者的喜爱,谁也不曾想到它会取得如此大的成功。如今,在云原生技术发展的浪潮中,Kubernetes 作为容器编排领域的事实标准和云原生领域的关键项目,已经成为了云原生的标配。—1—Kubernetes横空出世:改写容器编排市场格局谈到 Kubernetes,就绕不开 Docker。2010 年,一家名叫 d...

LinkTime_Cloud的博客 1065

qcc304x笔记之手机端显示电量(九)

默认的sdk有些安卓手机不支持电量显示,所以需要加电量显示的补丁 流程分析 1. 首先新建一个task,并将task注册给电池模块 appBatteryRegister(batteryRegistrationForm) 实现handler处理函数,当battery模块电池电量更新后,会将电池百分比值发送到本模块,然后我们就可以在handler中将实时电量同步到手机端了。 hfpAtCmdInit atCmdTask.task.handler = appAtCmdHandleM...

在云巅的博客 2199

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

Fluid 进入 CNCF Sandbox,加速大数据和 AI 应用拥抱云原生

来源 | 阿里巴巴云原生公众号 2021 年 4 月 27 日,云原生计算基金会(CNCF)宣布通过全球 TOC 投票接纳 Fluid 成为 CNCF 官方沙箱项目。Fluid 是一个由南京大学、阿里云以及 Alluxio 开源社区联合发起并开源的云原生数据编排和加速系统。 Fluid 项目地址: https://github.com/fluid-cloudnative/fluid 项目介绍 云原生环境下,计算存储分离架构在提升系统弹性和灵活性的同时,给大数据 / AI 等数据密集型应用带来了计算性能和管理

阿里巴巴云原生的博客 487

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

享受云原生技术红利,大数据不应该被落下

2021年8月,Databricks获得了16亿美元H轮融资,距离10亿美元的G轮融资刚过去7个月,这一轮融资之后,Databricks身价达到380亿美元,成为一家超级独角兽。Databricks是一家大数据软件公司,提供用于数据集成、数据清洗、数据管理以及其他基于Spark的云服务。Databricks的成功给在大洋彼岸的众多中国创业者极大的信心,智领云CEO、联合创始人彭锋正是其中之一。Da...

LinkTime_Cloud的博客 255

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

一文读懂云原生大数据平台KDP开源版

金津,智领云高级研发经理。华中科技大学计算机系硕士。加入智领云 7 余年,长期从事云原生、容器化编排领域研发工作,主导了智领云自研的 BDOS 应用云平台、云原生大数据平台 KDP 等产品的开发,并在多个大规模项目中成功实施落地,在大规模容器化编排系统方向有丰富的实践经验。今年是Kubernetes的10周年,而“曾经”以Hadoop为代表的大数据生态已发展了将近20年。在云计算时代,各个行业、生...

LinkTime_Cloud的博客 1248

为什么微软、Google 等都在纷纷拥抱开源?

作者| 黄峰达头图 | 优快云 下载自东方 IC出品 | 优快云(ID:优快云news)开始之前,让我们再说说开源软件到底代表的是什么?开源软件是源代码可以任意获取的计算机软件,...

优快云资讯 3340

【云原生技术】云原生时代,拥抱技术变革,实现职业突破!

在这个充满机遇和挑战的时代,掌握云原生技术是获得职业发展的关键。本文将带你了解云原生的世界,以及加入我们的俱乐部你将获得的诸多好处。云原生技术重新定义了各个生产岗位的职责和技能要求。

wanghuan01234567的博客 900

云原生技术系列:“一图一文”全面了解云原生

至如今,云计算这个概念已经火了十年有余,我们这些相关IT从业者也经历了听闻、理解、应用、熟练这么个漫长的过程。当下,千行百业已从积极拥抱云计算向升级为云原生应用方向演进,特别在数字化时代的洪流中,云原生被视为未来社会数字化转型最有效的利器。我们则需要从理解云原生开始,将云原生应用在我们的工作中创造社会价值,同时也实现自身的学习成长。本文便是想带大家通过“一图一文”全面了解云原生。...

u012730075的专栏 1164
上一篇: 数据湖(九):Iceberg 特点详述和数据类型
下一篇: 云原生(二) | Docker 篇之轻松学会原理|架构|安装|加速
wrr-cat
博客等级 码龄9年 128粉丝 302原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值