Google停用MapReduce,高调发布Cloud Dataflow

谷歌已停止使用MapReduce,转而支持CloudDataflow来处理大规模数据。CloudDataflow提供更快、更易扩展的云分析能力,且没有MapReduce的扩展限制。此外,谷歌还推出了CloudSave、CloudDebugging、CloudTracing和CloudMonitoring等新服务。


Google已经停用自己研发的,部署在服务器上,用以分析数据的MapReduce,转而支持一个新的超大规模云分析系统Cloud Dataflow。 

MapReduce一直是服务器集群上做并行分布式计算的一个非常受欢迎的基础架构和编程模型。它是被广泛部署并已经成为很多公司商业产品的大数据基础架构平台Hadoop的基础。 

但是近日,这项技术已经不能处理谷歌想要分析的大量数据。技术基础设施部高级副总裁UrsHölzle表示,一旦数据规模达到数PB级字节,处理起来将变得非常困难。 

我们已经不再使用MapReduce。”Hölzle在周三于旧金山举行的谷歌I/O大会上发表主题演讲时表示,公司已经在几年前停止使用这个系统。

Cloud DataFlow,将作为一项服务提供给使用它们云服务的开发者,这些服务并没有MapReduce的扩展限制。 

Cloud Dataflow是这近十年分析经验的成果。”Hölzle说,它将会比现存的所有的系统运行的更快,更易扩展。 

“这是一个完全托管服务,它可以自动优化、部署、管理以及扩展。它使开发人员对批处理和流媒体服务能够使用统一编程轻松地创建复杂的管道。“他表示。

所有这些特点,谷歌认为在MapReduce上无法完成:很难迅速获取数据,不能进行批处理和流处理,而且经常需要部署和运行MapReduce集群。

Hölzle在展示会上也宣布谷歌云平台上其他一些新的服务:

  • Cloud Save是一个API,它使应用程序能够在云中或其他地方保存单个用户的数据而不需要任何服务器端的编码。 提供App Engine的PaaS用户和提供Compute Engine的用户都可以利用这特征构建App。
  • Cloud Debugging 简化了筛选出部署在云端的多台服务器中的软件缺陷的过程。
  • Cloud Tracing 提供了不同群体(数据库服务调用,例如等待时间)的延时统计数据以及分析报告。
  • Cloud Monitoring 是一款与Stackdriver(谷歌5月份收购的一个云监控初创公司)集成的智能监控系统。该系统监控云基础设施资源,如磁盘和虚拟机,还有一些为谷歌提供服务的服务等级以及十几个非谷歌提供的开源软件包。
个人防护装备实例分割数据集 一、基础信息 • 数据集名称:个人防护装备实例分割数据集 • 图片数量: 训练集:4524张图片 • 训练集:4524张图片 • 分类类别: 手套(Gloves) 头盔(Helmet) 未戴手套(No-Gloves) 未戴头盔(No-Helmet) 未穿鞋(No-Shoes) 未穿背心(No-Vest) 鞋子(Shoes) 背心(Vest) • 手套(Gloves) • 头盔(Helmet) • 未戴手套(No-Gloves) • 未戴头盔(No-Helmet) • 未穿鞋(No-Shoes) • 未穿背心(No-Vest) • 鞋子(Shoes) • 背心(Vest) • 标注格式:YOLO格式,适用于实例分割任务,包含边界框或多边形坐标。 • 数据格式:图片数据,来源于监控或相关场景。 二、适用场景 • 工业安全监控系统开发:用于自动检测工人是否佩戴必要的个人防护装备,提升工作场所安全性,减少工伤风险。 • 智能安防应用:集成到监控系统中,实时分析视频流,识别PPE穿戴状态,辅助安全预警。 • 合规性自动化检查:在建筑、制造等行业,自动检查个人防护装备穿戴合规性,支持企业安全审计。 • 计算机视觉研究:支持实例分割、目标检测等算法在安全领域的创新研究,促进AI模型优化。 三、数据集优势 • 类别全面:覆盖8种常见个人防护装备及其缺失状态,提供丰富的检测场景,确保模型能处理各种实际情况。 • 标注精准:采用YOLO格式,每个实例都经过精细标注,边界框或多边形坐标准确,提升模型训练质量。 • 真实场景数据:数据来源于实际环境,增强模型在真实世界中的泛化能力和实用性。 • 兼容性强:YOLO格式便于与主流深度学习框架(如YOLO、PyTorch等)集成,支持快速部署和实验。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值