用Amazon EventBridge Pipes集成应用

用Amazon EventBridge Pipes集成应用

关键字: [Amazon Web Services re:Invent 2024, 亚马逊云科技, EventBridge Pipes, Amazon Eventbridge Pipes, Integrate Applications, Filter Events, Enrich Events, Transform Events]

导读

通过Amazon EventBridge Pipes简化事件驱动的集成。参加本次会议,观看现场演示,了解亚马逊云科技客户如何利用EventBridge Pipes集成Amazon Kinesis和Amazon SQS等服务。了解EventBridge Pipes如何实现内联数据丰富、转换和过滤,从而减少对自定义集成代码的需求。通过本次会议,您将获得使用EventBridge Pipes更高效地构建事件驱动应用程序的想法。

演讲精华

以下是小编为您整理的本次演讲的精华。

Jeff是亚马逊云科技的EventBridge团队的高级技术产品经理,他以一个互动环节开始了演示,要求观众每当他说出“胶水代码”这个词时就发出嘘声。然后他强调亚马逊云科技提供了超过200种服务,这些服务可以作为构建模块组合在一起创建完整的应用程序,使开发人员能够专注于应用程序的差异化功能,而不必关注诸如配置基础设施或运行数据中心等无差异化任务,从而加快创新步伐。

然而,将这些构建模块连接在一起通常需要编写“胶水代码”来在不同服务之间传输事件。Jeff强调编写和维护这种代码的挑战,例如理解每种服务技术的细微差别、处理错误、重试、身份验证、速率控制、性能测试、内存分配、部署和调试。为了解决这些挑战,Jeff介绍了EventBridge Pipes服务,它可以在不需要“胶水代码”的情况下连接各种亚马逊云科技源和目标。Pipes提供了可选的过滤功能,允许开发人员选择从源传递到目标的事件,并且只对匹配的事件收费。丰富功能可以在将事件传递到目标之前向事件添加数据,而转换功能则可以将事件转换为目标所期望的格式。

接下来,Jeff进行了现场演示,设置了一个场景,假设他为一家大型全球电子商务巨头工作。目标是从包含网站点击数据的巨大Kinesis流中过滤事件,并仅将与销售部分相关的事件发送到较小的Kinesis流,以供其他服务使用。在演示中,Jeff创建了一个EventBridge Pipe,并设置了一个过滤器,用于匹配事件数据中页面对象中包含“acme.com/sale”字符串的事件。然后,他尝试向大型Kinesis流发送500条记录,并观察较小流中的过滤事件。但由于时间问题,演示在演示过程中未能按预期运行。

对于第二个演示,Jeff设置了一个场景,假设他在同一家电子商务公司的支持组织工作。目标是在将支持工单事件从SQS队列传递到Step Function进行处理之前,使用从Zendesk API获取的完整工单详细信息来丰富这些事件。Jeff展示了EventBridge Pipe的配置,包括API目标,它将使用API密钥进行身份验证,向Zendesk API发出GET请求,并指定了300的速率限制。丰富步骤将使用事件中的工单ID替换API端点URL中的占位符,以检索完整的工单详细信息。在从SQS队列中过滤出类型为“支持工单已打开”或“支持工单已解决”的事件后,Jeff成功演示了Step Function收到了2个丰富的事件,其中包含从Zendesk API获取的完整工单详细信息,包括一个新状态的“示例工单,见工单”和一个已解决状态的“您的演示已损坏”工单。

Jeff估计整个演示,包括从Kinesis流过滤事件并将它们发送到较小的Kinesis流,仅花费约0.08美元,突出了使用EventBridge Pipes的经济实惠性。此外,他还展示了Pipes处理大量数据的能力,因为他在第一个演示中尝试向巨大的Kinesis流发送500条记录。

总之,Jeff的演示强调了使用“胶水代码”集成亚马逊云科技服务的挑战,并介绍了EventBridge Pipes作为一种无需编写自定义集成代码即可连接服务的解决方案。通过现场演示,他展示了Pipes的过滤、丰富和转换功能,使开发人员能够更高效地构建可扩展、可靠和有弹性的应用程序,同时利用超过200种亚马逊云科技服务作为构建模块,并展示了其经济实惠性和处理大数据量的能力。

下面是一些演讲现场的精彩瞬间:

Jeff是EventBridge团队的一位高级技术产品经理,在他的reInvent2024演讲中,他以幽默的方式开玩笑说观众的热情很高涨。

0d5d6047c4d9cccc71e6fe2eacfb781d.png

亚马逊云科技首席执行官展示了亚马逊云科技中构建模块的无缝集成,能够实现可扩展、可靠和有弹性的解决方案,并随着需求的变化而发展。

8f993f0de8ed8ea4d599ad2f98fbf96a.png

演讲者强调了在无服务器应用程序中编写和维护不同技术(如Amazon Kinesis Data Streams和SQS)的粘合代码的复杂性和挑战。

f8e8701531c20c9444cd2205c0e56cbe.png

演讲者描述了一个场景,一家大型电子商务公司使用单独的Kinesis流来处理销售事件,以避免主流被消费者压垮。

16095e2309edf37f8ed613ef3054088f.png

由于时间有限,演讲者虽然准备了现场演示,但最终不得不使用预先录制的示例,他幽默地承认了这种情况并邀请观众鼓掌。

0401e1eee5e5b60727f2cd5f95c49fd5.png

演讲者展示了一种创新的解决方案,将SQS、Step Functions和Zendesk API集成在一起,以高效地丰富和处理支持工单。

eb4ac1a6821b2ddef6288517fa499d5d.png

演讲者演示了他们如何从使用Amazon SQS过渡到Amazon Step Functions,并加入了一个过滤步骤和API目标来丰富事件。

e553e7ce98d8d5eba8baa364bb306f9b.png

总结

在亚马逊云科技提供大量服务的世界中,无缝集成它们可能是一项艰巨的任务。高级技术产品经理Jeff介绍了EventBridge Pipes作为解决这一挑战的方案,消除了令人头疼的“粘合代码”带来的无眠之夜和生产噩梦。

EventBridge Pipes扮演桥梁角色,轻松连接各种亚马逊云科技服务。它允许您过滤事件、丰富数据和转换格式,确保服务之间信息流畅顺利。Jeff演示了两个引人注目的用例:首先,从庞大的Kinesis流中过滤点击流数据到一个更小、更易管理的流中;其次,在将支持票据从SQS队列传递到Step Function进行处理之前,使用Zendesk的API丰富支持票据数据。

通过这些现场演示,Jeff展示了EventBridge Pipes在简化集成、减少复杂性和提高效率方面的强大功能。有了EventBridge Pipes,您可以告别编写和维护“粘合代码”的繁琐任务,专注于真正区分您应用程序的部分。

随着亚马逊云科技不断扩展其服务产品,EventBridge Pipes成为一个游戏规则改变者,实现无缝集成并开启创新的新可能性。拥抱事件驱动架构的未来,永远告别“粘合代码”的噩梦吧。

亚马逊云科技(Amazon Web Services)是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务,服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者,亚马逊云科技正在携手广泛的客户和合作伙伴,缔造可见的商业价值 – 汇集全球40余款大模型,亚马逊云科技为10万家全球企业提供AI及机器学习服务,守护3/4中国企业出海。

内容概要:本文介绍了一个基于多传感器融合的定位系统设计方案,采用GPS、里程计和电子罗盘作为定位传感器,利用扩展卡尔曼滤波(EKF)算法对多源传感器数据进行融合处理,最终输出目标的滤波后位置信息,并提供了完整的Matlab代码实现。该方法有效提升了定位精度与稳定性,尤其适用于存在单一传感器误差或信号丢失的复杂环境,如自动驾驶、移动采用GPS、里程计和电子罗盘作为定位传感器,EKF作为多传感器的融合算法,最终输出目标的滤波位置(Matlab代码实现)机器人导航等领域。文中详细阐述了各传感器的数据建模方式、状态转移与观测方程构建,以及EKF算法的具体实现步骤,具有较强的工程实践价值。; 适合人群:具备一定Matlab编程基础,熟悉传感器原理和滤波算法的高校研究生、科研人员及从事自动驾驶、机器人导航等相关领域的工程技术人员。; 使用场景及目标:①学习和掌握多传感器融合的基本理论与实现方法;②应用于移动机器人、无人车、无人机等系统的高精度定位与导航开发;③作为EKF算法在实际工程中应用的教学案例或项目参考; 阅读建议:建议读者结合Matlab代码逐行理解算法实现过程,重点关注状态预测与观测更新模块的设计逻辑,可尝试引入真实传感器数据或仿真噪声环境以验证算法鲁棒性,并进一步拓展至UKF、PF等更高级滤波算法的研究与对比。
内容概要:文章围绕智能汽车新一代传感器的发展趋势,重点阐述了BEV(鸟瞰图视角)端到端感知融合架构如何成为智能驾驶感知系统的新范式。传统后融合与前融合方案因信息丢失或算力需求过高难以满足高阶智驾需求,而基于Transformer的BEV融合方案通过统一坐标系下的多源传感器特征融合,在保证感知精度的同时兼顾算力可行性,显著提升复杂场景下的鲁棒性与系统可靠性。此外,文章指出BEV模型落地面临大算力依赖与高数据成本的挑战,提出“数据采集-模型训练-算法迭代-数据反哺”的高效数据闭环体系,通过自动化标注与长尾数据反馈实现算法持续进化,降低对人工标注的依赖,提升数据利用效率。典型企业案例进一步验证了该路径的技术可行性与经济价值。; 适合人群:从事汽车电子、智能驾驶感知算法研发的工程师,以及关注自动驾驶技术趋势的产品经理和技术管理者;具备一定自动驾驶基础知识,希望深入了解BEV架构与数据闭环机制的专业人士。; 使用场景及目标:①理解BEV+Transformer为何成为当前感知融合的主流技术路线;②掌握数据闭环在BEV模型迭代中的关键作用及其工程实现逻辑;③为智能驾驶系统架构设计、传感器选型与算法优化提供决策参考; 阅读建议:本文侧重技术趋势分析与系统级思考,建议结合实际项目背景阅读,重点关注BEV融合逻辑与数据闭环构建方法,并可延伸研究相关企业在舱泊一体等场景的应用实践。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值