Storm升级成为Apache顶级项目

Apache Storm, 一款开源的分布式实时计算系统, 近日成为Apache顶级项目。相较于Hadoop, Storm专长于流式数据的实时处理。最初由BackType开发, 后被Twitter收购并开源。Storm支持多种编程语言, 并被广泛应用于实时分析、在线机器学习等领域。
Apache Storm是一个免费、开源的分布式实时计算系统。相对于Hadoop适用于批处理而言,Storm可以用于实时处理流式数据。Storm简单易用,支持多种编程语言。2013年9月,Storm成为了Apache软件基金会的孵化项目,近日,Apache软件基金会宣布,Storm已经孵化完毕,升级成为Apache顶级项目。这也意味着Storm社区和产品已经按照Apache 软件基金会的流程和理念顺利运作。

Storm本是由做分析平台的创业公司BackType开发,后来2011年7月BackType被Twitter收购,Storm得以保留并于2011年9月开源在GitHub上。在被收购后,Storm也随之成为了Twitter内部的实时数据分析系统。在Twitter的带领下,Storm获得了社区的广泛认可,Hortonworks宣布将Storm整合到自己的Hadoop企业版中,Yahoo将Storm与YARN整合成为Storm-YARN来支持的实时的流计算分析。另外,国内的几个公司也在大规模使用Storm,比如百度、淘宝,在Storm的官网也能看到他们的商标。

Storm也是少有的几个使用Clojure编写的开源项目之一,Clojure是一个在JVM平台运行的动态函数式编程语言。Storm的成功也证明了Clojure可以用于编写大型项目。近日,Puppet Labs决定使用Clojure重写其服务端的部分核心代码。

目前,热门流式计算系统还有Yahoo的S4和Spark streaming。Spark Streaming是建立在Spark上的应用框架,利用Spark的底层框架作为其执行基础,并在其上构建了DStream的行为抽象。S4(简单可扩展流系统的首字母简称:Simple Scalable Streaming System)是一个受Map-Reduce模式启发的分布式流处理引擎,设计之初是为了解决使用数据采集和机器学习算法的搜索应用环境中的数据广告的显示问题。

除了用于实时分析外,Storm也可用于在线机器学习、持续计算、分布式远程调用和ETL等领域。Storm目前的版本是0.9.2,更多的内容读者可以访问ASF博客和Storm官网了解。

微笑霸来了 第九期 卖票大妈敢不敢再坑一点
叫上小伙伴和力宏牵手 微笑霸来了

[img]http://dl2.iteye.com/upload/attachment/0101/7662/adab03b2-f5f4-3f1d-be80-6624fff0036b.jpg[/img]
内容概要:本文详细介绍了“秒杀商城”微服务架构的设计与实战全过程,涵盖系统从需求分析、服务拆分、技术选型到核心功能开发、分布式事务处理、容器化部署及监控链路追踪的完整流程。重点解决了高并发场景下的超卖问题,采用Redis预减库存、消息队列削峰、数据库乐观锁等手段保障数据一致性,并通过Nacos实现服务注册发现与配置管理,利用Seata处理跨服务分布式事务,结合RabbitMQ实现异步下单,提升系统吞吐能力。同时,项目支持Docker Compose快速部署和Kubernetes生产级编排,集成Sleuth+Zipkin链路追踪与Prometheus+Grafana监控体系,构建可观测性强的微服务系统。; 适合人群:具备Java基础和Spring Boot开发经验,熟悉微服务基本概念的中高级研发人员,尤其是希望深入理解高并发系统设计、分布式事务、服务治理等核心技术的开发者;适合工作2-5年、有志于转型微服务或提升架构能力的工程师; 使用场景及目标:①学习如何基于Spring Cloud Alibaba构建完整的微服务项目;②掌握秒杀场景下高并发、超卖控制、异步化、削峰填谷等关键技术方案;③实践分布式事务(Seata)、服务熔断降级、链路追踪、统一配置中心等企业级中间件的应用;④完成从本地开发到容器化部署的全流程落地; 阅读建议:建议按照文档提供的七个阶段循序渐进地动手实践,重点关注秒杀流程设计、服务间通信机制、分布式事务实现和系统性能优化部分,结合代码调试与监控工具深入理解各组件协作原理,真正掌握高并发微服务系统的构建能力。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值