storm入门--storm的第一个示例

Apache Storm Java代码快速入门示例 Apache Storm是分布式实时计算系统,用于处理大量数据流。它允许开发者创建拓扑(Topology),这是运行在Storm集群上的实时计算任务。本章将引导读者了解Storm的基本概念、架构和如何开始构建Storm应用。Maven是一个项目管理和构建自动化工具,它能够处理项目的编译、依赖、文档生成、报告等。在Storm项目中使用Maven可以帮助我们更方便地管理项目依赖、进行项目构建以及维护项目结构的一致性。 阅读详情

转载地址:https://blog.youkuaiyun.com/cjf_wei/article/details/72594573

本文介绍在eclipse下开发storm的第一个示例。本文的示例基于storm提供的example中的ExclamationTopology,位于(examples/storm-starter/src/jvm/org/apache/storm/starter/ExclamationTopology.java)。本文使用的storm版本为storm-1.0.2。本文将在eclipse在进行代码的编写和调试,并最终将代码打成jar包,提交到Linux环境下的storm集群。

拓扑简介
源码ExclamationTopology示例包括一个spout和两个bolt。

TopologyBuilder builder = new TopologyBuilder();

builder.setSpout("word", new TestWordSpout(), 10);  
builder.setBolt("exclaim1", new ExclamationBolt(), 3).shuffleGrouping("word");
builder.setBolt("exclaim2", new ExclamationBolt(), 2).shuffleGrouping("exclaim1");
spout位于包org.apache.storm.testing.TestWordSpout中,由storm提供,不需要读者编写。其主要作用是不间断的发送一个单词。源码中其发送单词的代码为:
//每隔100ms会从words数组中随机的发送一个单词
public void nextTuple() {
    Utils.sleep(100);
    final String[] words = new String[] {"nathan", "mike", "jackson", "golda", "bertels"};
    final Random rand = new Random();
    final String word = words[rand.nextInt(words.length)];
    _collector.emit(new Values(word));
}

bolt的定义位于ExclamationTopology.java中,两个bolt的作用相同,都是从数据流中取出tuple,然后再其后加上”!!!”,并再次发送。
spout和bolt都使用了可靠的消息传递机制,保证了消息被“完全处理”。

代码编写
新建java project名为 ExclamationTopology,并创建class,package名为org.apache.storm.starter,将ExclamationTopology.java的内容拷贝到新建的class中。
在project中的src/的同级新建lib/文件夹,将storm安装包根目录下的lib/文件夹下的所有jar包拷贝到新建工程的lib/目录下,并在eclipse中选中所有的jar包右键选择build path-> add to build path

本文修改ExclamationBolt(),新建 StarBolt(),两者的差别仅仅在于后者将在取到的元组后追加”*“,而非”!!!”
修改后的代码如下:

//ExclamationTopology.java
package org.apache.storm.starter;

import org.apache.storm.Config;
import org.apache.storm.LocalCluster;
import org.apache.storm.StormSubmitter;
import org.apache.storm.task.OutputCollector;
import org.apache.storm.task.TopologyContext;
import org.apache.storm.testing.TestWordSpout;
import org.apache.storm.topology.OutputFieldsDeclarer;
import org.apache.storm.topology.TopologyBuilder;
import org.apache.storm.topology.base.BaseRichBolt;
import org.apache.storm.tuple.Fields;
import org.apache.storm.tuple.Tuple;
import org.apache.storm.tuple.Values;
import org.apache.storm.utils.Utils;

import java.util.Map;

// This is a basic example of a Storm topology.
public class ExclamationTopology {

    public static class ExclamationBolt extends BaseRichBolt {
        OutputCollector _collector;

        @Override
        public void prepare(Map conf, TopologyContext context, OutputCollector collector) {
            _collector = collector;
        }

        @Override
        public void execute(Tuple tuple) {
            _collector.emit(tuple, new Values(tuple.getString(0) + "!!!"));
            _collector.ack(tuple);
        }

        @Override
        public void declareOutputFields(OutputFieldsDeclarer declarer) {
            declarer.declare(new Fields("word"));
        }

    }

    public static class StarBolt extends BaseRichBolt {
        OutputCollector _collector;
        @Override
        public void prepare(Map conf, TopologyContext context, OutputCollector collector) {
            _collector = collector;
        }

        @Override
        public void execute(Tuple tuple) {
            _collector.emit(tuple, new Values(tuple.getString(0) + "***"));
            _collector.ack(tuple);
        }

        @Override
        public void declareOutputFields(OutputFieldsDeclarer declarer) {
            declarer.declare(new Fields("wordstar"));
        }

    }


    public static void main(String[] args) throws Exception {

        TopologyBuilder builder = new TopologyBuilder();

        builder.setSpout("word", new TestWordSpout(), 4);  //该spout的ID为"word",spout具有4个执行器,并默认分配4个任务
        builder.setBolt("exclaim", new ExclamationBolt(), 2) //该bolt的ID为"exclaim",从ID为"word"的spout中接收数据流,bolt具有2个执行器
                .setNumTasks(4)   //该bolt分配4个任务,平均每个执行器2个任务
                .shuffleGrouping("word"); //使用随机分组的方式
        builder.setBolt("star", new StarBolt(), 2)  //该bolt的ID为"star",从ID为"exclaim"的bolt中接收数据流,bolt具有2个执行器,默认分配2个任务,平均每个执行器1个任务
                .shuffleGrouping("exclaim");

        Config conf = new Config();
        conf.setDebug(true);

        if (args != null && args.length > 0) {
            //生产环境
            conf.setNumWorkers(2); //设置工作进程数为2个
            StormSubmitter.submitTopologyWithProgressBar(args[0], conf, builder.createTopology());
        } else {
            //本地开发环境
            LocalCluster cluster = new LocalCluster();
            cluster.submitTopology("test", conf, builder.createTopology());
            Utils.sleep(10000);
            cluster.killTopology("test");
            cluster.shutdown();
        }

    } 
}

这里着重区分几个概念:
工作进程:一个工作进程执行拓扑的一个子集;
执行器(线程):执行器是由工作进程产生的一个线程,用于执行实际的任务;
任务:在拓扑中真正负责数据处理。

在生成环境中启用了2个工作进程,spout以及bolt共有8(4+2+2)个执行器(工作线程),10(4+4+2)个任务,那么每个工作进程拥有8/2个执行器,每个工作进程分配10/2个任务,其中ExclamationBolt的每个执行器会执行两个任务,其余每个执行器执行一项任务。

拓扑提交
将ExclamationTopology.java的代码打成jar包(此处命名为exclamation.jar)后,将jar包上传Linux服务器,使用下述命令提交拓扑

storm jar /home/test/exclamation.jar org.apache.storm.starter.ExclamationTopology  ExclamationTopology
//storm提交拓扑命令的说明
storm jar {jar-path} {jar-class} arg1 arg2
jar-path:拓扑打成的jar包所在的路径
jar-class:拓扑的主类
arg1 arg2 ……:main函数中String[] args中可以获取到的参数

成功提交拓扑执行可以在storm ui(http://{IP}:8080/),查看”Topology Summary”(8080端口在storm.yaml中配置)。

Kill拓扑
1.如果storm UI正常工作的话,可以在拓扑的详情界面中 Topology actions -> kill
2.命令: storm kill {Topology-name} -w 3 //-w 3是指等待3s后kill

工作日志
worker的工作日志位于 /home/storm/logs/workers-artifacts/ExclamationTopology-6-1491795978路径下以WORKER的通信端口(本文有两个worker)命名的文件夹下

ExclamationTopology-6-1491795978
    ├── 6702
    │   ├── gc.log.0
    │   ├── worker.log
    │   ├── worker.log.err
    │   ├── worker.log.metrics
    │   ├── worker.log.out
    │   ├── worker.pid
    │   └── worker.yaml
    └── 6703
        ├── gc.log.0
        ├── worker.log
        ├── worker.log.err
        ├── worker.log.metrics
        ├── worker.log.out
        ├── worker.pid
        └── worker.yaml

由于开启了debug模式(conf.setDebug(true);)可以在worker日志中观察到spout和bolt的工作情况.

storm实例,可以直接运行 storm实例,可以直接运行 命令在里面cmd.txt 修改好words111.txt路径就可以直接运行,前提是你storm集群没有问题 立即下载

相关推荐

Storm 上手 demo 例子 演示

Storm demo 例子 案例

eclipse配置storm1.1.0开发环境并本地跑起来

  storm的开发环境搭建比hadoop(参见前文http://www.cnblogs.com/wuxun1997/p/6849878.html)简单,无需安装插件,只需新建一个java项目并配置好lib包引用即可。本地跑也无需先启动storm,直接Run As->Java Application完事。下面细看:   1、新建项目:在eclipse中点File->New->选...

wuxun1997的专栏 249

storm-example:风暴示例

风暴示例 风暴示例 风暴卡夫卡

java storm_storm集群配置以及java编写拓扑例子

四个文件如图pom.xml4.0.0testtest1.0.0testTest project for spring boot mybatisjarUTF-8UTF-81.81.81.8org.apache.stormstorm-core1.2.2providedjunitjunit3.8.1maven-assembly-pluginjar-with-dependenciesmake-assemb...

weixin_35547906的博客 161

Linux下科大讯飞离线语音识别SDK从下载到实战(附常见问题解决)

本文详细介绍了在Linux系统下,如何从科大讯飞开放平台获取离线语音识别SDK,完成环境准备、编译部署到实战开发的完整流程。文章重点解析了SDK目录结构、语法词典定制、示例代码修改,并针对开发中常见的“词典加载失败”、音频格式、交叉编译及性能优化等问题提供了深度解决方案,助力嵌入式与IoT开发者快速实现稳定可靠的离线命令识别功能。

honey的博客 1242

ROS2实战:从零部署Cartographer激光SLAM系统

本文详细介绍了在ROS2 Humble环境下,从零开始部署Cartographer激光SLAM系统的完整实战流程。内容涵盖环境准备、Cartographer安装(APT与源码编译两种方式对比)、工作空间与功能包创建、核心启动文件与Lua配置文件编写、系统构建与可视化启动,以及地图保存与实战调参技巧,帮助开发者快速构建稳定可靠的机器人SLAM应用。

weixin_29213655的博客 249

storm-example笔记

storm-example

岸芷汀兰 1779

针对so层不固定位置的动态加密,怎么解决?(面试题)

Android逆向之破解某应用加密算法(动态调试so和hook so代码):so 代码动态解密后才执行,我们可以在解密完成后获取解密后的代码或数据。Android逆向之旅—动态方式破解apk进阶篇(IDA调试so源码)如果你有更具体的加密场景,欢迎提供更多信息,我可以给出更详细的方案!某些 so 在运行时生成密钥,解密后再用。某APP密码加密算法分析。

SXXYNHHXX的博客 928

Storm 从入门到精通 第六讲 Storm 示例 之 第一个简单实例

1. 第一个简单例子: Spout 将随机发送目前流行的编程语言, Console 输出 及 使用 File 保存出现的语言日志。2. Topology 流程图3. 程序结构4. 程序示例1. PrintWriterSpout: fieldsDeclarer.declare(new Fields("PrintWord"));package com.john.learn.storm.ch01.spo...

John,hao的专栏 1415

ILI9488 TFT屏驱动与触摸协同开发指南

TFT-LCD显示模块是嵌入式人机交互系统的核心外设,其工作原理依赖于专用显示控制器(如ILI9488)对GRAM显存的精确读写,并通过SPI等串行总线接收指令与图像数据。理解RGB接口时序、寄存器初始化流程及DC/CS信号控制逻辑,是实现稳定显示的基础技术前提;而四线电阻式触摸功能则需配合XPT2046类ADC控制器,通过独立SPI或模拟时序完成坐标采集。该方案兼顾低功耗、高集成与工程可移植性,广泛应用于工业HMI、仪器仪表及STM32F407等MCU平台的教学与产品开发。本文围绕3.5英寸320×480

weixin_33814090的博客 149

打造会自主学习的 AI 助手:OpenClaw 记忆系统完全指南

这不是科幻,这是我正在使用的系统。我的 AI 助手「小琳」已经运行了一段时间,积累了大量的知识和经验,而且还在不断学习成长。心跳(Heartbeat)是 OpenClaw 的定时轮询机制,可以让 AI 主动做一些事情。你有没有遇到过这样的困扰:每次和 AI 对话,它都像失忆了一样,之前聊过的内容完全不记得?设置定时任务:每天早上 8 点,查询天气和热点新闻,通过钉钉推送给我。让你的 AI 助手拥有持久记忆,能够自主学习、总结经验、不断成长。这不仅仅是一个「能记住事情的 AI」,而是一个。

Honmaple的博客 1636

Storm入门之Storm示例及UI参数讲解

1、在IDEA本地运行Storm 程序需添加依赖,且scope选项必须为compile。 如果scope选项不是compile,则会报以下的错: 2、在集群模式下打jar包提交到Storm上运行程序,scope选项必须为provided。 -----------------------------------------------------------------------...

曹利荣的博客 5120

交换机初始化配置详解

MGMT或称MGT(Management Port,管理端口)是一个可以连接计算机的三层主机端口,如下图所示。只需使用一条双绞线跳线,就可以将计算机的以太网端口与交换机的MGMT端口连接在一起,实现对交换机的配置与管理。也就是说,可以使用MGMT端口代替Console端口实现对交换机或交换机堆叠的网络管理。MGMT端口既可用于交换机的初始化,也可以在交换机初始化完成后,以Telnet、Web浏览器或Cisco CNA方式进行管理。当将计算机连接到独立的交换机时,连接方式如下图所示。

悦分享 2000

Storm Topologies 示例——(入门)

入门学会使用Storm!必备条件首先,你需要在你的电脑上安装‘java’和‘git’并且将它们的环境变量配置到你电脑的‘PATH’中。另外,在storm-starter中存在两个例子需要用到Python和Ruby。其次,确保你电脑上存在可用的storm-starter代码。Git/GitHub初学者初学者可能会用到下面的命令来下载最新的storm-starter代码并且更改到包含下载的代码的新目录。

wangyang163wy的博客 645

[VCS]VCS checkpoint简介以及其在SoC验证加速中的作用

VCS checkpoint是Synopsys VCS提供的快照/恢复机制,可显著加速SoC验证。其核心是在仿真关键节点(如完成初始化后)保存系统状态,后续测试可直接从该点恢复,避免重复执行冗长的初始化阶段(如boot、DDR训练等)。该技术特别适用于多测试用例共享同一初始状态的场景,通过分离初始化与功能验证流程,可提升回归效率3-5倍。需注意处理DPI-C状态同步、版本管理及存储优化等问题,结合UVM和自动化脚本可实现更高效的验证流程。典型应用可节省数百万cycle的重复仿真时间。

元直的博客 781

LVGL 拨盘菜单(Dial Menu)

h。

摸鱼专家 197

storm开发篇1 - 示例入门

storm java 开发的hello world 入门示例Storm中的核心概念:Stream: 流是一个没有边界的Tuple序列,这些Tuple以分布式的方式并行创建与处理Spout:是Topology中消息的生产者(即是Tuple的创建者)            Bolt:消息的处理者        是接收Spout发出Tuple后处理数据的组件,并产生新的数据输出流。可执行过滤,合并,统计...

seanme的专栏 2699

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Storm 入门示例

功能描述 从数据中随机选取语句(ChooseSpout) 将句子中的单词分开(SplitSentence) 统计单词(WordCount) ----------------------------------------- 项目采用 maven构建 pom.xml <project xmlns="http://maven.apache.org/POM/4.0.0"

做个简单的程序员 641

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

Storm入门示例

  开发Storm的第一步就是设计Topology,为了方便开发者入门,首先我们设计一个简答的例子,该例子的主要的功能就是把每个单词的后面加上Hello,World后缀,然后再打印输出,整个例子的Topology图如下:   整个Topology分为三部分:   TestWordSpout:数据源,负责发送words   ExclamationBolt:负责把每个单词后面加上后缀   ...

weixin_30772105的博客 155

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Storm 从入门到精通 第五讲 Storm 示例 之 Storm API

1. Storm 组件回顾2. Storm API1. 首先编写数据源类: Spout。    a. 继承 BaseRichSpout类    b. 实现 IRichSpout接口    c. 重点需要几个方法进行重写或实现:open、nextTuple 和 DeclareOutputFields 方法2. 继续编写数据处理类:Bolt    a. 继承 BaseBasicBolt类    b. ...

John,hao的专栏 1435

storm入门(三)HelloWorld示例

一、配置开发环境 storm有两种操作模式: 本地模式和远程模式。使用本地模式的时候,你可以在你的本地机器上开发测试你的topology, 一切都在你的本地机器上模拟出来; 用远程模式的时候你提交的topology会在一个集群的机器上执行。 建议使用maven,只需要加上storm的依赖就可以了。 <dependency> <groupId>org....

weixin_34417200的博客 165

storm java classpath_Storm入门(三)HelloWorld示例

一、配置开发环境storm有两种操作模式: 本地模式和远程模式。使用本地模式的时候,你可以在你的本地机器上开发测试你的topology, 一切都在你的本地机器上模拟出来; 用远程模式的时候你提交的topology会在一个集群的机器上执行。建议使用maven,只需要加上storm的依赖就可以了。org.apache.stormstorm-core1.1.0providedpom.xml4.0.0cn...

weixin_29641609的博客 165

Storm 从入门到精通 第二十讲 Storm DRPC 简单示例

这里简单Echo程序:1. BasicDRPCTopologypackage com.john.learn.storm.drpc.basic; import java.util.Arrays; import java.util.Scanner; import org.apache.storm.Config; import org.apache.storm.LocalCluster; impor...

John,hao的专栏 1108
上一篇: Maven问题:Failure to transfer org.apache.maven
下一篇: Storm 入门的Demo教程
learn_tech
博客等级 码龄10年 68粉丝 10原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值