大数据入门(19)storm安装配置

本文详细介绍了如何搭建Storm实时计算平台,包括Zookeeper集群的安装、Storm环境的配置与启动,以及如何通过示例代码提交和管理拓扑。同时,深入探讨了Storm的基本概念与应用场景。

1、安装一个zookeeper集群
    使用weekend05,weekend06,weekend07安装有zookeeper集群    
2、上传storm的安装包,解压
    需要3台机子,nimbus(协调管理)、supervisor-01(负责具体运算)、supervisor-01(负责具体运算)
3、修改配置文件storm.yaml
    #所使用的zookeeper集群主机
    storm.zookeeper.servers:
        - "weekend05"
        - "weekend06"
        - "weekend07"
    
    #nimbus所在的主机名
    nimbus.host: "weekend05"
4、复制到其他主机上
    scp -r storm-0.9.2/ weekend06:/home/admin/app/
    scp -r storm-0.9.2/ weekend07:/home/admin/app/

5、配置supervisor的work网络端口号,可以不用配置    
    supervisor.slots.ports
    -6701
    -6702
    -6703
    -6704
    -6705

6、启动storm
    在nimbus主机上
    bin下,./storm nimbus (内部,关闭secureCRT连接就没了)
    bin下,./storm ui  (外部访问的进程)
    
    在supervisor主机上(不用配置,启动一台,动态加入集群管理中)
    bin下,./storm supervisor
    
7、查看进程
    netstat -nltp
8、浏览器查看
    weekend05:8080

storm的深入学习:
        分布式共享锁的实现
        事务topology的实现机制及开发模式
        在具体场景中的跟其他框架的整合(flume/activeMQ/kafka(分布式的消息队列系统)       /redis/hbase/mysql cluster)

10、storm 的基本概念        
    Topologies : 拓扑,也俗称一个任务
    Spouts : 拓扑的消息源
    Bolts : 拓扑的处理逻辑单元
    tuple:消息元组
    Streams : 流
    Stream groupings :流的分组策略
    Tasks : 任务处理单元
    Executor :工作线程
    Workers :工作进程
    Configuration : topology的配置

11、程序代码打包    
(1)提交Topologies
    jar 【jar路径】 【拓扑包名.拓扑类名】【stormIP地址】【storm端口】【拓扑名称】【参数】
    eg:./storm jar /home/admin/storm-starter.jar storm.starter.WordCountTopology wordcountTop;
    #提交storm-starter.jar到远程集群,并启动wordcountTop拓扑。
(2)停止Topologies
    查看当前运行的topo: storm list
    命令格式:storm kill 【拓扑名称】
    样例:storm kill wordcountTop
    #杀掉wordcountTop拓扑。


 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沙漏无语

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值