storm wordcount 运

本文详细记录了作者在本地模式下搭建并运行Storm平台的过程,包括下载安装所需组件、打包代码、执行命令等关键步骤,并分享了在实际操作中遇到的问题及解决方案。通过本指南,读者可以快速掌握本地模式下使用Storm进行实时流处理的基本方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

公司要求搭建Storm平台,用于对Storm平台的实时流处理做评估。任务交给了我。虽然说只是本地模式,但是却花 了我好几天的时间。各种网上发帖问,各种向大牛问。最终还是解决了。再此记录下过程吧。
       下载Storm,地址为 https://github.com/nathanmarz/storm ,Storm用于将JAR包和Topology的主类提交给nimbus。本地模式我们只需记住一个命令:storm jar storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies storm.starter.WordCountTopology
       下载strom-starter,地址为 https://github.com/nathanmarz/storm-starter ,在本地模式跑通里面的WordCountTopology例子。
       下载Maven,地址为 http://maven.apache.org/download.html ,用于对storm-starter中例子的所有代码以及所以来的JAR包进行打包。
       1   下载好strom,将storm的bin目录放到PATH路径下。并将bin目录下的storm脚本设置成可执行模式。
       2   开始安 装maven. 下载好maven,将bin目录放到PATH路径即可。
       3   进入storm-starter的文件夹,里面有一个m2-pom.xml的文件,这个文件里面记录着storm-starter所依赖的jar包,jar包由maven仓促管理。运行mvn -f m2-pom.xml package 命令。将会执行几分钟,因为会下载一些依赖的Jar包。。如果出现有些jar包不能下载。那就需要自己手动下载然后发到~/.m2/repository文件夹下。~号,代表的是当前用户的目录。windows下是C:\Documents and Settings\your_host_name\.m2\repository下。linux运行一下cd ~ && pwd命令,然后在去找.m2文件夹即可。
       4   执行完上步骤后,会在storm-starter文件夹下生成一个target目录,里面生成两个Jar包。一个是storm-starter-0.0.1-SNAPSHOT.jar,另一个是 storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar,然后在此目录运行storm jar storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.WordCountTopology这个命令就会在本机模式下,用线程模拟storm平台执行topology。执行结果显示无误的话,输出会有10000多行。
       我在SUSE下完成了本地模式的运行。现在想想这个过程真的没什么,但是开始跑程序例子的时候就是出现了各种问题。命令不懂;怎样的输出才是正确的;为什么跑通的人说起来就是这么简单,但是自 己就是出现各种问题;可见,自己还是个新手,实践的少,对于出现的问题不知道如何解决。总结起来四句话,外事问google,内事问baidu,有事问大牛,没事看大牛的blog。
       接下来的工作就是部署一个storm集群,虽然是一个小集群,但是对于初次可以尝试配置几台服务器的我,也挺令人振奋的。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值