Apache Beam 2.0 发布,首个稳定版

Apache Beam 架构原理及应用实践 导读:大家好,很荣幸跟大家分享 Apache Beam 架构原理及应用实践。讲这门课之前大家可以想想,从进入 IT 行业以来,不停的搬运数据,不管职务为前端,还是后台服务器端开发。随着这两年科技的发展,各种数据库,数据源,应运而生,大数据组件,框架也是千变万化,从 Hadoop 到现在的 Spark、Flink,数据库从先前的 oracle、MySQL 到现在的 NOSQL,不断延伸。那么有没有统一的框架,统一的数据源搬砖工具呢? 带着这样的疑问,开始我们今天的分享,首先是内容概要:Apache Beam 阅读详情

(点击上方公众号,可快速关注)

转自:开源中国

www.oschina.net/news/85019/apache-beam-2-0-stable-released

Apache Beam在官方博客上正式发布了Beam 2.0.0。这是Beam有史以来的第一个稳定版本,根据Beam社区的声明,Beam意欲为未来版本发布保持API的稳定性,并让Beam适用于企业的部署。

0?wx_fmt=jpeg

Beam的第一个稳定版本是Beam社区发布的第三个重要里程碑。Beam在2016年2月成为Apache孵化器项目,并在同年12月升级成为Apache基金会的顶级项目。经过从开始至今的15个月全神贯注的努力,从一个有点混乱的代码库开始,从各大组织合并代码,成就了如今的这个数据处理框架,它是一个真正与引擎和环境无关的数据处理框架。Beam经过三个孵化器版本和三个后孵化器版本的演化和改进,最终迎来了它的第一个稳定版2.0.0。

在从升级为顶级项目至今的5个月时间里,Beam在采用率和社区贡献两个方面都取得了重大进展。Google Cloud、PayPal、Talend等公司都在使用Beam。

Beam 2.0.0改进了用户体验,专注于提升框架在各种执行环境中的无缝移植能力,这些执行环境包括执行引擎、操作系统、本地集群、云端,以及数据存储系统。Beam的其他特性还包括如下几点。

  • API稳定性和对未来版本的兼容性。

  • 有状态的数据处理范式,支持高效的依赖数据的计算。

  • 支持用户扩展的文件系统,内建支持Hadoop分布式发文件系统及其他。

  • 提供了一个度量指标系统,可用于深入窥见管道的执行情况。

很多贡献者促成了这个稳定版本的发布,他们承担了各种角色的任务:贡献代码、编写文档、测试候选版本、为用户提供支持,等等。

Beam 2.0.0将会在这周于迈阿密举行的“Apache:大数据”大会上首次亮相,会上将会有四个与Beam相关的主题。Beam也将会成为很多开发者见面会的主角,包括“圣何塞数据的未来”见面会、“伦敦斯特拉塔数据大会”、“柏林Buzzwords”,以及“圣何塞DataWorks峰会”。

开发者从今天开始就可以试用Beam,也可以考虑加入Beam社区,或者可以通过Beam的邮件组、问题跟踪系统向社区提供反馈意见和问题。

觉得这条资讯有帮助?请转发给更多人

关注 技术最前线 ,看 IT 要闻

640?wx_fmt=png

Apache Beam SDK Harness Sidecar 架构实战:解耦语言、版本与资源 Apache Beam 是统一的批流一体数据处理编程模型,其核心挑战在于 SDK Harness 与 Runner 的紧耦合——这导致多语言支持受限、依赖版本冲突频发、故障传播不可控。Sidecar 模式通过进程隔离实现语言自由(Python/Java/Go 共存),借助 gRPC 本地通信达成低延迟高可靠交互,并依托 Kubernetes 原生生命周期管理提升容错收敛速度。该架构不仅解决 Beam 在 Flink/Spark 等 Runner 上的落地瓶颈,更成为云原生数据管道中‘可观察、可隔离、可演进’ 阅读详情

相关推荐

开源分布式计算框架 Apache Beam 中的一些重要概念和术语

Apache Beam(波) 是一个开源的分布式计算框架,主要用于数据处理管道的编写。它具有统一的编程模型,能够运行在多种执行环境中,包括本地机器、云计算平台和大数据集群。Beam 提供了许多内置的功能和扩展点,包括基于 MapReduce 的批处理、基于流的实时计算、机器学习和图形分析等。Beam 可以有效地解决复杂的数据处理任务,并可保证高效的数据处理速度和低延迟的数据交互。目前,Apache Beam 已经成为一个活跃的开源项目,它的最新版本为 2.34.0。

AI天才研究院 1779

Apache Beam多语言开发:Java、Python、Go SDK对比

本文全面对比了Apache Beam框架的三种主要SDK实现:Java、Python和Go。Java SDK作为最成熟的企业级解决方案,提供了完整的生态系统、丰富的IO连接器和强大的扩展能力;Python SDK专注于数据科学和机器学习集成,通过RunInference转换框架支持多种ML框架;Go SDK则凭借goroutine轻量级并发模型和channel通信机制,在高性能并发处理方面展现出显...

gitblog_00789的博客 576

Python-ApacheBeam官方网站中文版

Apache Beam: 一个高级且统一的编程模型.让批处理和流式据处理的作业在任何执行引擎上都可以运行.

Apache Beam发布第一个稳定版本

Apache Beam在官方博客上正式发布了Beam 2.0.0。这是Beam有史以来的第一个稳定版本,根据Beam社区的声明,Beam意欲为未来版本发布保持API的稳定性,并让Beam适用于企业的部署。 Beam的第一个稳定版本是Beam社区发布的第三个重要里程碑。Beam在2016年2月成为Apache孵化器项目,并在同年12月升级成为Apache基金会的顶级项目。经过从开始至今的1

陈海峰的博客 773

杰理的蓝牙芯片的key是什么?以及该如何添加key?杰理key文件原理

很多的工程师,在开发杰理蓝牙芯片的第一步就会有一个很深的疑惑,关于key的 1、什么是key文件? 2、Key文件是如何产生的? 3、为什么需要他key文件? 4、如何添加key文件? 5、以及实际开发中的一些报错该如何处理?

qyvhome的博客 4102

Win11+VSCode+TeXLive:学术党必备的LaTeX环境配置避坑指南(2024最新版)

本文详细介绍了如何在Windows 11系统下,通过VSCode编辑器与TeXLive发行版配置高效的LaTeX学术写作环境。针对国内用户常见的镜像下载慢、插件配置复杂等问题,提供了优化方案和避坑指南,帮助科研人员和学生快速搭建流畅的学术写作工作流。

plum99的博客 623

Apache Beam -- 简介

概述 在大数据的浪潮之下,技术的更新迭代十分频繁。受技术开源的影响,大数据开发者提供了十分丰富的工具。但也因为如此,增加了开发者选择合适工具的难度。在大数据处理一些问题的时候,往往使用的技术是多样化的。这完全取决于业务需求,比如进行批处理的MapReduce,实时流处理的Flink,以及SQL交互的Spark SQL等等。而把这些开源框架,工具,类库,平台整合到一起,所需要的工作量以及复杂度,可...

一只IT小小鸟 2万+

Linux平台CCS安装配置完整示例

手把手讲解在Linux系统中完成CCS安装与环境配置的全过程,涵盖关键步骤与常见问题解决,是查找ccs安装教程时不可多得的实战指南。

weixin_42601134的博客 516

Apache Beam Fn API如何接收和发送数据

简介Overviews 在Apache Beam Fn API 总体介绍中阐述了总体视角,列出了一系列相关的文档。本文中描述了在处理Bundle时,Beam Runner和Beam SDK Harness之间使用Fn API发送和接收数据的模型。 发送和接受数据 要求 高层视图 逻辑流Logical Stream 编码和解码已知类型 编码和解码未知类型 应

ffjl1985的专栏 1066

为什么BGA焊点总在四个角先坏?一次热-振耦合仿真给你讲明白

本文通过Ansys Workbench进行热-振耦合仿真,深入分析了BGA焊点在四个角点先失效的机理。研究发现,角点焊点由于CTE失配、振动载荷放大及几何应力集中等因素,承受的等效塑性应变和动态应力显著高于中心区域,导致其疲劳寿命大幅降低。仿真数据揭示了角点焊点的应力分布和蠕变特性,为电子封装可靠性设计提供了重要依据。

weixin_42535461的博客 439

佳能C3025打印机扫描方法

佳能C3025彩色打印机扫描方法 步骤一、如果打印机处于休眠状态,可按图中标记的按钮唤醒打印机; 然后点击屏幕上的【扫描】 步骤二、扫描类型选择【文件】 步骤三、点击屏幕上的【地址簿】 步骤四、此时屏幕胡看到名字,如果看不到自己的名字,可往下滑动直到看到自己的名字,然后点击自己的名字,再点击右下角的【应用】 步骤五、点击【发送设置】,可看到文件格式为PDF,点击可以选择JPEG的图片格式。...

weixin_46019317的博客 2万+

Apache Beam 2.50.0发布,该版本包括改进功能和新功能

我们很高兴向您介绍 Beam 的新版本 2.50.0。该版本包括改进功能和新功能。请查看此版本的下载页面。

csdn_linuxprobe的博客 361

TI CC2642R蓝牙5.2模块实战:从零搭建智能门锁原型(附电路图)

本文详细介绍了如何基于TI CC2642R蓝牙5.2模块从零搭建智能门锁原型,涵盖硬件选型、低功耗配置、蓝牙安全交互等关键环节。通过CC2642R的高性能MCU和蓝牙5.2技术,开发者可实现低功耗、高安全性的智能门锁设计,并提供实用的电路图和PCB布局建议。

o5p6q的博客 112

Apache Beam访问HDFS文件

      Apache Beam发布的第一个稳定版本2.0.0,想比较于之前的版本来说,API改变了很多,比如读取HDFS文件的API,以前的读取文件的类已经不适用了,改为使用普通的Text.IO就能读取HDFS文件,前提是建立了HDFS之间的连接,以前用的版本是Apache Beam 2.1.0,如有问题或者改进,可以在留言区给我留言package com.fzu.test.kafka_bea...

Crystal的专栏 1040

[PCIE5.0] 2.2.8.9 Optimized Buffer Flush/Fill (OBFF) Message

这段文字讲解的是 优化的缓冲区清空/填充(OBFF)消息,它是 PCI Express(PCIe)规范中的一个可选功能,用于向设备报告平台中央资源的状态。简单来说,OBFF 主要帮助设备了解当前平台资源(如缓存或内存)的状态,从而优化数据的处理和传输。这章重点内容如下。

系统固件工程师 541

Python爬取小红书种草商品评论数据:从入门到实战全攻略(附反爬+情感分析方案)

Python爬取小红书种草商品评论数据,核心是“抓包找到正确的接口+处理登录验证+合理的反爬策略”。新手不用一开始就追求多笔记批量爬取和情感分析,先把单笔记的评论抓取和存储跑通,再逐步扩展功能。我做的这个系统现在每天帮朋友爬取3-5款美妆产品的评论,自动做情感分析和关键词提取,她再也不用手动翻评论了,效率提升了80%。如果你们在开发中遇到具体问题,比如接口找不到、Cookie过期、IP被封,都可以在评论区留言,我会一一解答。后续也可以出一期小红书笔记种草数据爬取的教程,帮助大家更全面地分析竞品数据。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1354

PiflowX新增Apache Beam引擎支持

Apache Beam 架构原理及应用实践-腾讯云开发者社区-腾讯云 (tencent.com)大数据起源于 Google 2003年发布的三篇论文 GoogleFS、MapReduce、BigTable 史称三驾马车,可惜 Google 在发布论文后并没有公布其源码,但是 Apache 开源社区蓬勃发展,先后出现了 Hadoop,Spark,Apache Flink 等产品,而 Google 内部则使用着闭源的 BigTable、Spanner、Millwheel。

暗影八度 1585

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Apache Beam实战指南 | 玩转大数据存储HDFSIO

本文是 Apache Beam实战指南系列文章 的第三篇内容,将对Beam框架中的HDFSIO和MySQLIO源码进行剖析,并结合应用示例和代码解读带你进一步了解如何结合Beam玩转大数据存储重要组件HDFS。系列文章第一篇回顾:Apache Beam实战指南 | 基础入门;第二篇回顾:Apache Beam实战指南 | 手把手教你玩转KafkaIO与Flink。关于Apache Beam实战指南...

weixin_34377919的博客 139

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

【大数据技术】Apache Beam实战指南 | 手把手教你玩转大数据存储HdfsIO

关于 Apache Beam 实战指南系列文章 随着大数据 2.0 时代悄然到来,大数据从简单的批处理扩展到了实时处理、流处理、交互式查询和机器学习应用。近年来涌现出诸多大数据应用组件,如 HBase、Hive、Kafka、Spark、Flink 等。开发者经常要用到不同的技术、框架、API、开发语言和 SDK 来应对复杂应用的开发,这大大增加了选择合适工具和框架的难度,开发者想要将所有的大数据...

jiawoxuexiqq30294961的博客 1053

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

esp8266 sdk入门指南_Apache Beam实战指南 | 手把手教你玩转大数据存储HdfsIO

策划编辑 | Natalie作者 | 张海涛审校 | Natalie编辑 | VincentAI 前线导读:本文是Apache Beam 实战指南系列文章的第三篇内容,将对 Beam 框架中的 HDFSIO 和 MySQLIO 源码进行剖析,并结合应用示例和代码解读带你进一步了解如何结合 Beam 玩转大数据存储重要组件 HDFS。系列文章第一篇回顾Apache Beam 实战指南 | ...

weixin_39752157的博客 225
上一篇: 研究人员向 XP 用户提供 WannaCry 免费解密工具
下一篇: GitHub 推出了一个可购买和发现应用的市场
redditnote
博客等级 码龄12年 51粉丝 145原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值