【原】storm源码之mac os x编译twitter storm源码

最新推荐文章于 2025-09-09 10:26:38 发布

转载最新推荐文章于 2025-09-09 10:26:38 发布 · 54 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/yufengof/p/mac-os-x-compile-twitter-storm.html

本文介绍如何在MacOSX环境下从源码编译TwitterStorm，包括所需工具Leiningen的安装、依赖组件ZeroMQ及JZMQ的安装步骤，并提供了编译及打包的详细过程。

twitter storm是由backtype公司创始人nathanmarz一手研发和开源的流计算（实时计算）框架，堪称实时计算领域的hadoop。nathanmarz也是在mac os x环境下开发和编译，因此本文介绍下如何在mac os x上编译twitter storm源码，希望对storm深入进行源码级学习和开发的朋友可以参考，本文以master上的0.9.0-wip21版本为例，其他旧版本大体类似。

1、twitter storm源码获取

storm已在github上开源，代码可通过git或svn客户端下载到本地

1 git clone git://github.com/nathanmarz/storm.git -b master
2 svn co https://github.com/nathanmarz/storm/trunk

2、编译工具leiningen

storm源码是clojure和java的混合体，编译构建工具用的是leiningen,leiningen使用maven仓库进行包管理。storm自0.9.0版本开始对代码结构及使用的工具组件进行了重构和更新，其中的一个变化就是编译工具leiningen开始使用2.x版本，下载地址：leiningen on github

注：storm-0.9.x之前采用的是leningen-1.x版本，下载地址：leiningen releases

leiningen的安装可参考其github首页的介绍，相对来说比较简单，本文略过。对storm进行源码编译的leiningen命令如下：

1 cd storm
2 lein deps      #获取依赖包
3 lein compile   #编译源码
4 lein install   #安装storm-0.9.0-wip21.jar包到repo

3、依赖组件zeromq&jzmq

由于storm使用了ZeroMQ通信库，编译前要安装ZeroMQ及JZMQ(Java API)，安装方法基本可以参考storm源码中的bin/install_zmq.sh

(1) zeromq

1 wget http://download.zeromq.org/zeromq-2.1.7.tar.gz
2 tar -xzf zeromq-2.1.7.tar.gz
3 cd zeromq-2.1.7
4 ./autogen.sh
5 ./configure
6 make
7 sudo make install

(2) jzmq

1 ##install jzmq (both native and into local maven cache)
2 git clone https://github.com/nathanmarz/jzmq.git
3 cd jzmq
4 ./autogen.sh
5 ./configure
6 make
7 sudo make install

注：编译安装jzmq的过程需要pkg-config、autoconf、automake、libtool。Mac下均可通过MacPorts安装

1 sudo port install pkg-config
2 sudo port install autoconf
3 sudo port install automake
4 sudo port install libtool

4、执行storm编译及打包

1 cd storm
2 vim bin/build_release.sh   /*增加下述飘黄的两行*/
3 
4 cp -f target/release/dependency/*.jar $DIR/lib/
5 cp -f target/release/*.jar $DIR/
6 
7 sudo sh bin/build_release.sh /*执行打包脚本*/

注：build_release.sh是作者为简化storm打包提供的脚本，截止本文发布时脚本存在一处问题，需要按照上述方法修改。

5、打包后会在storm根目录下生成storm-0.9.0-wip21.zip，解压后即可部署到集群环境运行。

转载于:https://www.cnblogs.com/yufengof/p/mac-os-x-compile-twitter-storm.html