云计算、大数据、人工智能的关系

大数据,物联网和人工智能的关系 自从计算机首次发明以来,人们一直在寻找“下一件大事”。现在,由于近一半的世界拥有的手机速度比最早的超级计算机快,因此很难跟踪我们应该注意的事项。虽然许多利用强大技术的发明几乎没有成为头条新闻(有人见过智能冰箱吗?),但是使它们成为可能的进步常常成为同样炒作的牺牲品。 大数据,人工智能和物联网是近期最广泛滥用的三个术语,许多人不知道这些技术是如何联系在一起的,或者它... 阅读详情

云计算,大数据,人工智能以及他们的关系。

一、云计算最初是实现资源管理的灵活性

我们首先来说云计算,云计算最初的目标是对资源的管理,管理的主要是计算,存储,网络资源。

640?wx_fmt=png

1.1 管数据中心就像配电脑

什么叫计算,存储,网络资源呢?就说你要买台笔记本电脑吧,你是不是要关心这台电脑什么样的CPU啊?多大的内存啊?这两个我们称为计算资源。您可能还会问硬盘多大啊?这就是存储资源。网速有多快,带宽多大啊?这就是网络资源。

对于一台电脑是这个样子的,对于一个数据中心也是同样的。想象一个非常大的机房里面有很多的服务器,这些服务器也是有CPU,内存,硬盘的,也是和互联网连接的。这个时候的一个问题就是,数据中心的人是怎么把这些设备统一的管理起来的呢?

1.2 灵活就是想要多大的配置都行,想什么时候用马上就能用

比如有个人需要一台配置很小的电脑,只有一个CPU,1G内存,10G的硬盘,1M的带宽,你能给他吗?像配置这么小的电脑,很难买到了,家里随便拉一个宽带都要10M。然而如果去云计算平台上,就可以很容易得到这个电脑。如果你需要一个配置很强大的电脑,也可以轻松得到。这就是在配置(计算能力)上的灵活性。

另外你想用的时候马上就可以开通使用。这就是在时间上的灵活性。

这就是我们常说的云计算的弹性。为了解决这个弹性的问题,经历了漫长的发展。

1.3 物理设备阶段

首先第一个阶段就是物理机,或者说物理设备时期。这个时期相当于客户需要一台电脑,我们就买一台放在数据中心里。物理设备当然是越来越牛,例如服务器,内存动不动就是百G内存,例如网络设备,一个端口的带宽就能有几十G甚至上百G,例如存储,在数据中心至少是PB级别的(一个P是1024个T,一个T是1024个G)。

然而物理设备不能做到很好的灵活性。

首先时间不灵活,比如买台服务器,都有采购的时间,如果和供应商关系一般,可能采购一个月,和供应商关系好也要一个星期。用户等了一个星期后,这时候电脑才到位,用户还要花时间部署自己的应用。

其次是配置不灵活,如果用户要一个很小的电脑,现在哪有配置这么低的电脑啊。但是如果买一个正常配置的电脑,花费就会高些,不划算。

1.4 虚拟化阶段

有人就想办法了。就是虚拟化。用户不是只要一个很小的电脑么?数据中心的物理设备都很强大,我可以从物理的CPU,内存,硬盘中虚拟出一小块来给客户,其实每个客户用的是整个设备上的一小块。虚拟化使不同客户使用的资源是隔离的、独立的,实际上你的10G和他的10G硬盘都在一块物理硬盘上。

另外虚拟出一个电脑是非常快的,基本上几分钟就能解决。所以在一个云上要创建一台电脑,一般几分钟就出来了。

这样灵活性的问题就解决了。

1.5 云计算阶段

虚拟化软件解决了灵活性问题,其实不完全对。因为虚拟化软件一般创建一台虚拟的电脑,是需要人工指定这台虚拟电脑放在哪台物理机上的,还需要比较复杂的人工配置。所以仅仅凭虚拟化软件能管理的物理机的集群规模都不是很大,一般在十几台,几十台,最多百台这么一个规模。随着集群规模越来越大,千台起步,动辄上万台,甚至百万台,如果了解一下BAT,谷歌,亚马逊,会发现服务器数目都大的惊人。这么多机器要靠人工去创建和配置,几乎是不可能的事情,还是需要程序去做这个事情。

人们发明了一些算法来做这个事情,算法的名字叫做调度(Scheduler)。通俗一点的说,就是有一个调度中心,几千台机器都在一个池子里面,用户需要什么配置的虚拟电脑,调度中心会自动从大池子里面找一个能够满足用户需求的地方,把虚拟电脑创建好并配置好,用户就马上能用了。这个阶段,我们称为池化,或者云化,到了这个阶段,才可以称为云计算,在这之前只能叫虚拟化。

1.6 云计算的私有与公有

云计算大致分两种,一个是私有云,一个是公有云。私有云就是把虚拟化和云化的这套软件部署在自己的数据中心里面,使用私有云的用户往往很有钱,自己买地建机房,自己买服务器。公有云就是把虚拟化和云化软件部署在云服务商的数据中心里面,用户不需要很大的投入,只要注册一个账号,就能在一个网页上创建一台虚拟电脑,例如亚马逊的公有云,阿里云,腾讯云,网易云等。

亚马逊呢为什么要做公有云呢?我们知道亚马逊原来是国外比较大的一个电商,它做电商的时候也肯定会遇到类似双11的场景,在某一个时刻大家都冲上来买东西。当大家都冲上买东西的时候,就特别需要云的灵活性。需要在双十一的时候,创建一大批虚拟电脑来支撑电商应用,过了双十一再把多余的资源释放掉去干别的。所以亚马逊就需要一个云平台。

然而商用的虚拟化软件太贵了,亚马逊总不能把自己在电商赚的钱全部给了虚拟化厂商吧。于是亚马逊基于开源的虚拟化技术,开发了一套自己的云化软件。没想到亚马逊后来电商越做越牛,云平台也越做越牛。由于亚马逊云平台需要支撑自己的电商应用,而传统的云计算厂商多为IT厂商出身,没有自己的应用,因而亚马逊的云平台对应用更加的友好,迅速发展成为云计算的第一品牌。在亚马逊公布其云计算平台财报之前,人们都猜测,亚马逊电商赚钱,云也赚钱吗?后来一公布财报,发现不是一般的赚钱,仅仅去年,亚马逊AWS年营收达122亿美元,运营利润31亿美元。

1.7 云计算的赚钱与情怀

公有云的第一名亚马逊过得很爽,第二名Rackspace过的就一般了。没办法,这就是互联网行业的残酷性,多是赢者通吃的模式。第二名就想,我干不过老大怎么办呢?开源吧。亚马逊虽然使用了开源的虚拟化技术,但是云化的代码是闭源的,很多想做又做不了云化平台的公司,只能眼巴巴的看着亚马逊挣大钱。Rackspace把源代码一公开,整个行业就可以一起把这个平台越做越好,兄弟们大家一起上,和老大拼了。

于是Rackspace和美国航空航天局合作创办了开源软件OpenStack,如图所示OpenStack的架构图,能够看到三个关键字,Compute计算,Networking网络,Storage存储。还是一个计算,网络,存储的云化管理平台。

当然第二名的技术也是非常棒的,有了OpenStack之后,果真像Rackspace想象的一样,所有想做云的大企业都疯了,你能想象到的所有如雷贯耳的大型IT企业,IBM,惠普,戴尔,华为,联想等等。有了这样一个开源的云平台OpenStack,所有的IT厂商都加入到这个社区中来,对这个云平台进行贡献,包装成自己的产品,连同自己的硬件设备一起卖。有的做了私有云,有的做了公有云,OpenStack已经成为开源云平台的标准。

1.8 IaaS(基础设施服务), 资源层面的灵活性

随着OpenStack的技术越来越成熟,可以管理的规模也越来越大,并且可以部署多套,比如北京部署一套,杭州部署两套,广州部署一套,然后进行统一的管理。这样整个规模就更大了。在这个规模下,对于普通用户的感知来讲,想要多少就有多少。还是拿云盘举例子,每个用户云盘都分配了5T甚至更大的空间,如果有1亿人,那加起来空间多大啊。其实背后的机制是这样的,分配你的空间,你可能只用了其中很少一点,比如说它分配给你了5个T,这么大的空间仅仅是你看到的,而不是真的就给你了,你其实只用了50个G,则真实给你的就是50个G,随着你文件的不断上传,分给你的空间会越来越多。当大家都上传,云平台发现快满了的时候(例如用了70%),会采购更多的服务器,扩充背后的资

云计算,大数据,AI三者的关系如何? 我今天要讲这三个话题,一个是云计算,一个大数据,一个人工智能,我为什么要讲这三个东西呢?因为这三个东西现在非常非常的火,它们之间好像互相有关系,一般谈云计算的时候也会提到大数据,谈人工智能的时候也会提大数据,谈人工智能的时候也会提云计算。所以说感觉他们又相辅相成不可分割,如果是非技术的人员来讲可能比较难理解说这三个之间的相互关系,所以有必要解释一下。 一、云计算最初是实现资源管理的灵活性 我们首先... 阅读详情

相关推荐

大数据、云计算和人工智能有关系吗?

云计算、大数据和人工智能,这三个东西现在非常火,并且它们之间好像互相有关系:一般谈云计算的时候会提到大数据、谈人工智能的时候会提大数据、谈人工智能的时候会提云计算……感觉三者之间相辅相成又不可分割。但如果是非技术的人员,就可能比较难理解这三者之间的相互关系,所以有必要解释一下。 一、 云计算最初的目标 我们首先来说云计算。云计算最初的目标是对资源的管理,管理的主要是计算资源、网络资源、存储资源...

xiaokaiabcde的博客 2044

大数据、人工智能与云计算:关系与区别详解

在云计算中,大数据和人工智能可以通过云平台的弹性和可扩展性来获得更好的性能和资源利用率。通过充分利用大数据、人工智能和云计算的优势,企业云计算的优势,企业和开发人员可以获得更好的创新和竞争优势。在当今数字化时代,大数据、人工智能(AI)和云计算是推动技术和商业革新的重要驱动力。本文将详细解释大数据、人工智能和云计算之间的关系和区别,并提供相关源代码示例。大数据提供了人工智能模型训练所需的丰富数据集,而云计算平台则为大数据处理和人工智能模型部署提供了强大的计算和存储资源。人工智能的发展离不开大数据的支持。

Meta_C的博客 673

手把手教你用Python实现ITRS与GCRS坐标转换(附完整代码)

本文详细介绍了如何使用Python的Astropy库实现ITRS与GCRS坐标转换。文章从环境配置、坐标对象构建入手,深入解析了transform_to方法背后的转换矩阵与地球定向参数管理,并通过卫星地面轨迹计算实战案例,帮助开发者掌握高精度空间坐标转换的核心技术与工程实践。

weixin_28335283的博客 82

【DAY11】超参数调整专题1

核心优势: 它不是随机选择下一个点,而是根据先前评估的结果建立一个概率模型(通常是高斯过程),预测哪些参数组合可能产生更好的结果,并据此选择下一个评估点。这使得它在寻找最优解方面通常比随机搜索更高效(用更少的迭代次数达到相似或更好的性能),特别是当模型训练(单次评估)非常耗时的时候。实际上,有着非常多的方式可以实现贝叶斯优化,上面的代码比较简洁美观,贝叶斯优化和网格搜索的代码书写风格高度一致。- 需要定义参数的搜索空间,与随机搜索类似,当搜索空间非常大时,它通常比网格搜索和随机搜索更有效。

daomingwu1的博客 750

OpenBCI脑电实验避坑指南:如何用Python准确捕捉P300信号

本文详细介绍了使用OpenBCI和Python进行P300脑电信号实验的避坑指南,包括电极贴放、信号采集、信号处理和数据分析等关键步骤。通过实战经验和代码示例,帮助研究者避开常见陷阱,提高P300信号捕捉的准确率,适用于脑机接口和神经科学研究。

weixin_30316097的博客 555

计算机视觉三大顶会(ICCV/CVPR/ECCV)投稿指南与趋势解析

本文详细解析计算机视觉三大顶会(ICCV/CVPR/ECCV)的投稿指南与最新趋势。从基础认知到实战经验,涵盖时间线管理、选题策略、论文写作技巧及实验设计要点,帮助研究者提升投稿成功率。特别关注2024年技术融合、评估维度和伦理要求等前沿趋势,为计算机视觉领域的研究者提供实用建议。

weixin_29165725的博客 1856

【UML】第12篇 序列图(1/2)——基本概念和构成

序列图(Sequence Diagram)是一种用于显示对象之间交互的图形化表示。它描述了在特定场景下,对象之间按照时间顺序进行的消息传递和协作过程。在序列图中,对象被表示为带有垂直虚线的矩形,虚线表示对象的生命周期。对象之间的交互通过箭头表示的消息来表示,箭头从一个对象的生命线指向另一个对象的生命线,表示消息的发送和接收。

AI人人懂 3056

第四节:Vben Admin登录对接后端getUserInfo接口

上一节,我们完成了/api/auth/login接口的创建,通过login接口,我们完成了登录和Token的生成。但是登陆还是报404返回,发现是Vben Admin又请求了一个/api/getUserInfo接口,本节我们就来分析完成这个接口本节,我们完成了getUserInfo接口,完成了登录操作,成功的进入到工作台页面。

cuiwin的专栏 2847

人形机器人开源资源大盘点(四):硬件开源平台

开源人形机器人平台推动技术民主化 本期聚焦四大开源人形机器人平台:斯坦福的ToddlerBot以6000美元低成本实现30自由度运动,支持仿真到现实的零样本迁移;法国Reachy2被HuggingFace收购,融合开源AI与硬件,适配医疗、工业等场景;国内OriginMan基于ROS2全开源,集成大模型能力,支持深度改造;OAN框架则为经典NAO机器人注入开源活力,扩展交互功能。这些平台通过不同路径降低研发门槛,推动人形机器人技术走向开放共享的未来。

Studying…… 372

TIA protal与SCL从入门到精通(1)——SCL编程入门

SCL语言是由Pascal而生的结构化程序语言,与梯形图相(LAD)比,SCL语言的灵活程度更高,易于编写控制算法。 本教程基于的平台如下 软件:TIA 15.1 CPU 1516 (1)直接创建纯SCL的程序块儿; (2)在LAD/FBD中在插入SCL程序段。 在程序段中直接右击插入即可,但是插入的程序段并不能完全使用SCL语法,GOTO等跳转指令就不能使用。在SCL中一般不能使用绝对地址进...

苦走一口田 7万+

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

上一篇: Hive、Hadoop、HBase
下一篇: xmlns / xmlns:xsi / xsi:schemaLocation 的理解
安卓学吧
博客等级 码龄11年 110粉丝 110原创
评论 10
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值