Storm

【Storm】Storm配置文件详解 Storm的配置文件一般存放在$STORM_HOME/conf下,通常名为storm.yaml,它符合yaml格式要求。Storm的配置参数对任务的稳定运行以及吞吐率至关重要,这里介绍一下storm常见的配置项参数。 一. storm基本配置 storm.local.dir: nimbus 和supervisor进程存储一些状态信息(conf或者jars)的本地路径,需要每台storm node... 阅读详情

Storm

Storm是免费开源的分布式实时计算系统,该系统在2.0.0之前改架构核心实现使用Clojure编程实现,在本次版本以后Storm底层实现做了重大的调整使用Java8重构了Storm。Storm是一个实时的流处理引擎,能实现对记录的亚秒级的延迟处理。Storm在 realtime analytics、online machine learning、continuous computation、distributed RPC、 ETL等领域都有应用。每秒中一个计算节点可以处理100万个Tuple记录。除此之外Storm还可以和现有的数据(RDBMS/NoSQL)以及 消息队列集成(Kafka)。

架构

在这里插入图片描述
nimbus:计算任务的主节点,负责分发代码/分配任务/故障检测 Supervisor任务执行.

supervisor:接受来自Nimbus的任务分配,启动Worker进程执行计算任务.

zookeeper:负责Nimbus和Supervisor协调,Storm会使用zookeeper存储nimbus和supervisor进程状态信息,这就导致了Nimbus和Supervisor是无状态的可以实现任务快速故障恢复,即而让流计算达到难以置信的稳定。

Worker:是Supervisor专门为某一个Topology任务启动的一个Java 进程,Worker进程通过执行Executors(线程)完成任务的执行,每个任务会被封装成一个个Task。

集群构建(在后续大数据所有集群搭建那篇上)

注意:同步时钟

  • 启动进程
[root@CentOSX ~]# nohup storm nimbus >/dev/null 2>&1 &  -- 启动 主节点
[root@CentOSX ~]# nohup storm supervisor >/dev/null 2>&1 &  --启动 计算节点
[root@CentOSA ~]# nohup storm ui >/dev/null 2>&1 &  --启动web ui界面

Topology概念

Topology:Storm topology编织数据流计算的流程。Storm拓扑类似于MapReduce作业。一个关键的区别是MapReduce作业最终完成,而拓扑结构永远运行(当然,直到你杀死它)。

Streams:流是无限的Tuple(等价与Kafka Streaming的Record)序列,以分布式方式并行处理和创建。Streams是使用Schema定义的,该Schema命名流的Tuple中的字段。

Tuple:是Storm中一则记录,该记录存储是一个数组元素,Tuple元素都是只读的,不允许修改.

Tuple t=new Tuple(new Object[]{1,"zs",true})// readOnly

Spouts:负责产生Tuple,是Streams源头.通常是通过Spout读取外围系统的数据,并且将数据封装成Tuple,并且将封装Tuple发射emit到Topology中.IRichSpout|BaseRichSpout

Bolts:所有的Topology中的Tuple是通过Bolt处理,Bolt作用是用于过滤/聚合/函数处理/join/存储数据到DB中等.

IRichBolt|BaseRichBolt At Most Once机制,
IBasicBolt|BaseBasicBolt At Least Once ,
IStatefulBolt | BaseStatefulBolt 有状态计算。

快速入门

  1. 导入依赖pom.xml
<dependency>
    <groupId>org.apache.storm</groupId>
    <artifactId>storm-core</artifactId>
    <version>2.0.0</version>
    <scope>provided</scope>
</dependency>
<dependency>
    <groupId>org.apache.storm</groupId>
    <artifactId>storm-client</artifactId>
    <version>2.0.0</version>
    <scope>provided</scope>
</dependency>

2 . 编写 Spout

public class WordCountSpout extends BaseRichSpout {
    private String[] lines={"this is a demo","hello Storm","ni hao"};
     //该类负责将数据发送给下游
    private SpoutOutputCollector collector;
    
    public void open(Map<String, Object> conf, TopologyContext context, SpoutOutputCollector collector) {
        this.collector=collector;
    }
    //向下游发送Tuple ,改Tuple的Schemal在declareOutputFields声明
    public void nextTuple() {
        Utils.sleep(1000);//休息1s钟
        String line=lines[new Random().nextInt(lines.length)];
        collector.emit(new Values(line));
    }
    //对emit中的tuple做字段的描述
    public void declareOutputFields(OutputFieldsDeclarer declarer) {
        declarer.declare(new Fields("line"));
    }
}

编写 Bolt

LineSplitBolt

public class LineSplitBolt extends BaseRichBolt {
     //该类负责将数据发送给下游
    private OutputCollector collector;
    public void prepare(Map<String, Object> topoConf, TopologyContext context, OutputCollector collector) {
        this.collector=collector;
    }
	
    public void execute(Tuple input) {
        String line = input.getStringByField("line");
        String[] tokens = line.split("\\W+");
        for (String token : tokens) {
            collector.emit(new Values(token,1));
        }
    }

    public void declareOutputFields(OutputFieldsDeclarer declarer) {
        declarer.declare(new Fields("word","count"));
    }
}

WordCountBolt

public class WordCountBolt extends BaseRichBolt {
    //存储状态
    private Map<String,Integer> keyValueState;
    //该类负责将数据发送给下游
    private OutputCollector collector;
    
    public void prepare(Map<String, Object> topoConf, TopologyContext context, OutputCollector collector) {
        this.collector=collector;
        keyValueState=new HashMap<String, Integer>();
    }

    public void execute(Tuple input) {
        String key = input.getStringByField("word");
        int count=0;
        if(keyValueState.containsKey(key)){
            count=keyValueState.get(key);
        }
        //更新状态
        int currentCount=count+1;
        keyValueState.put(key,currentCount);
        //将最后结果输出给下游
        collector.emit(new Values(key,currentCount));
    }

    public void declareOutputFields(OutputFieldsDeclarer declarer) {
        declarer.declare(new Fields("key","result"));
    }
}

WordPrintBolt

public class WordPrintBolt extends BaseRichBolt {
    //这个时候就不用写collector了 因为数据不用再往下游发送了
    public void prepare(Map<String, Object> topoConf, TopologyContext context, OutputCollector collector) {
    }

    public void execute(Tuple input) {
        String word=input.getStringByField("key");
        Integer result=input.getIntegerByField("result");
        System.out.println(input+"\t"+word+" , "+result);
    }

    public void declareOutputFields(OutputFieldsDeclarer declarer) {

    }
}

编写Topology

import org.apache.storm.Config;
import org.apache.storm.StormSubmitter;
import org.apache.storm.topology.TopologyBuilder;
import org.apache.storm.tuple.Fields;

public class WordCountTopology {
    public static void main(String[] args) throws Exception {
        //1.创建TopologyBuilder
        TopologyBuilder builder = new TopologyBuilder();

        //2.编织流处理逻辑- 重点(Spout、Bolt、连接方式)

        builder.setSpout("WordCountSpout",new WordCountSpout(),1);

        builder.setBolt("LineSplitBolt",new LineSplitBolt(),3)
                .shuffleGrouping("WordCountSpout");//设置 LineSplitBolt 接收上游数据通过 随机

        builder.setBolt("WordCountBolt",new WordCountBolt(),3)
                .fieldsGrouping("LineSplitBolt",new Fields("word"));

        builder.setBolt("WordPrintBolt",new WordPrintBolt(),4)
                .fieldsGrouping("WordCountBolt",new Fields("key"));

        //3.提交流计算
        Config conf= new Config();
        conf.setNumWorkers(3); //设置Topology运行所需的Worker资源,JVM个数
        conf.setNumAckers(0);  //关闭Storm应答,可靠性有关
        StormSubmitter.submitTopology("worldcount",conf,builder.createTopology());
    }
}

shuffleGrouping:表示下游的LineSplitBolt会随机的接收上游的Spout发出的数据流。
fieldsGrouping: 表示相同的Fields数据总会发送给同一个Task Bolt节点。

任务提交
使用mvn package打包应用,然后将打包的jar包上传到 集群中的任意一台机器

[root@CentOSA ~]# storm jar /root/storm-lowlevel-1.0-SNAPSHOT.jar com.zax.demo01.WordCountTopology

提交成功后,用户可以查看Storm UI界面查看程序的执行效果http://centosa:8080/

在这里插入图片描述
查看任务列表

[root@CentOSA ~]# storm list
...
Topology_name        Status     Num_tasks  Num_workers  Uptime_secs  Topology_Id          Owner
----------------------------------------------------------------------------------------
worldcount           ACTIVE     11         3            66           worldcount-2-1560760048 root

kill Topology

[root@CentOSX ~]# storm kill worldcount

任务并行度的理解

并行度和线程是一 一对应的
在这里插入图片描述
conf.setNumWorkers(3);
决定了当前的Topology计算所需的Work进程,每一个Worker只能属于某一个Topology。每一个Worker就代表一个计算资源称为Slot
在这里插入图片描述

一个Supervisor最多启动/管理4个Woker/Slot 进程。Woker不能跨Topology共享,每一个流计算任务在启动前就已经分配好了JVM计算进程。Storm是通过Worker/Slot实现计算资源的隔离。

Task和Executor关系

Task实际是Spout和Blot的实例。默认情况下一个线程只运行一个Task(一个线程中只有一个Spout或者Bolt)。例如一下代码

 builder.setBolt("LineSplitBolt",new LineSplitBolt(),3)
                .setNumTasks(5)
                .shuffleGrouping("WordCountSpout");//设置 LineSplitBolt 接收上游数据通过 随机

LineSplitBolt组件会占用3线程,系统会实例化5个LineSplitBolt`的实例。其中2、2、1分配方式分配三个线程。
在这里插入图片描述

Topology并行度:Worker(进程)、Executors(线程)和Task(实例)相关
在这里插入图片描述

是不是worker越多越好?

  1. 不是 如果一个worker能解决最好放在一个worker中解决
  2. 因为worker多了要走进程之间的通信,网络通信是比较慢的
  3. 但大数据中的数据量太大了 内存相对紧张
  4. 所以要根据实际的运行效率和延迟,经过测量后在线实时修改

storm rebalance(指定worker数目 某个组件的并行度等)

[root@CentOSA ~]# storm rebalance
usage: storm rebalance [-h] [-w WAIT_TIME_SECS] [-n NUM_WORKERS]
                       [-e EXECUTORS] [-r RESOURCES] [-t TOPOLOGY_CONF]
                       [--config CONFIG]
                       [-storm_config_opts STORM_CONFIG_OPTS]
                       topology-name
  • 修改Worker数目
[root@CentOSX ~]# storm rebalance -w 10 -n 6  wordcount02
  • 修改某个组件的并行度,一般不能超过Task个数(一个线程可以运行多个task实例 但是多个线程运行一个不是浪费了么)
[root@CentOSX ~]# storm rebalance -w 10 -n 3 -e LineSplitBolt=5  wordcount02

Tuple可靠性处理

Storm 消息Tuple可以通过一个叫做__ackerBolt去监测整个Tuple Tree是否能够被完整消费,如果消费超时或者失败该__ackerBolt会调用Spout组件(发送改Tuple的Spout组件)的fail方法,要求Spout重新发送Tuple.默认__ackerBolt并行度是和Worker数目一致,用户可以通过config.setNumAckers(0);关闭Storm的Acker机制。

如何使用可靠性发送

  • Spout端
  • Spout在发射 tuple 的时候必须提供msgID
  • 同时覆盖ack和fail方法
public class WordCountSpout extends BaseRichSpout {
    private String[] lines={"this is a demo","hello Storm","ni hao"};
    private SpoutOutputCollector collector;

    public void open(Map<String, Object> conf, TopologyContext context, SpoutOutputCollector collector) {
        this.collector=collector;
    }

    public void nextTuple() {
        Utils.sleep(5000);//休息1s钟
        int msgId = new Random().nextInt(lines.length);
        String line=lines[msgId];
        //发送 Tuple 指定 msgId
        collector.emit(new Values(line),msgId);
    }
    //对emit中的tuple做字段的描述
    public void declareOutputFields(OutputFieldsDeclarer declarer) {
        declarer.declare(new Fields("line"));
    }

    //发送成功回调 AckerBolt
    @Override
    public void ack(Object msgId) {
        System.out.println("发送成功:"+msgId);
    }
    //发送失败回调 AckerBolt
    @Override
    public void fail(Object msgId) {
        String line = lines[(Integer) msgId];
        System.out.println("发送失败:"+msgId+"\t"+line);
    }
}
  • Bolt端
  • 将当前的子Tuple 锚定到父Tuple上
  • 向上游应答当前父Tuple的状态,应答有两种方式 collector.ack(input);|collector.fail(input);
 public void execute(Tuple 父Tuple) {
        try {
            //do sth
            //锚定当前父Tuple
            collector.emit(父Tuple,子Tuple);
            //向上游应答当前父Tuple的状态
            collector.ack(父Tuple);
        } catch (Exception e) {
            collector.fail(父Tuple);
        }
    }

可靠性机制检测原理

从混沌到秩序:STORM 与 Co-STORM 的知识编织之旅 STORM 和 Co-STORM 的出现,为我们打开了一扇通往未来知识整理和写作的新大门。它们不仅让信息的获取和组织变得更加高效,还通过人机协作的方式,让知识的创造过程变得更加个性化和互动化。在这个信息飞速发展的时代,STORM 和 Co-STORM 就像是知识的编织者,用它们的智慧和效率,为我们构建了一幅幅清晰的知识蓝图。而未来,随着技术的不断进步,这种知识编织的艺术,或许将改变我们与信息互动的方式。 阅读详情

相关推荐

海豚调度器(dolphinscheduler)再次使用,添加钉钉预警

1,首先我们部署是海豚调度器 1.3.8版本,由于页面只有邮件预警,所以在了解源码的同时,需要添加钉钉预警 2,说明,这一块是同事搞的,不是我搞的,新版本的dolphinscheduler已经有了钉钉模块,只是新版本还没有发布 3,我们现在只是添加简单的钉钉预警,任务成功或者失败会发送邮件+钉钉 4,具体操作 找到最新的源码devhttps://github1s.com/apache/dolphinscheduler/blob/dev/dolphinscheduler-alert/src/ma...

qq_31866793的博客 3085

Storm集群下运行Topology

Storm数据流分组 Tuple在Bolt组件之间的传输规则 随机分组:Tuple随机分发到每Bolt组件,并保证每个Bolt组件分发的Tuple数量一致 字段分组:相同Key被分配到同一个Bolt组件,统计单词频次采用这种分组策略 全复制分组:每一个Tuple都会被分配到所有的Bolt组件 全局分组:所有的Tuple分配到一个Bolt组件 不分组: Storm并发机制 一台Node机器节点:一个工作节点服务,运行一个Supervisor程序 一个worker进程:一个工作节点可以运行1个或多个work

weixin_37536020的博客 361

Unity3D移动平台简单实现

在电子游戏中移动平台可谓是十分常见的,如平台从一处至另一处的来回移动,或当需要玩家触发机关时,平台浮动并按一定的路线移动至目标处。本文主要是在Unity3D引擎下使用少量脚本实现两点之间来回移动平台的最基本功能,是一种比较简单且好理解的移动平台解决方案。 涉及到的点如下: 平台对象的实现 平台移动路线的设定 处于平台上游戏对象(如:玩家)的相对运动 创建平台控制对象 创建平台实...

长溪木可的博客 4691

Storm中Topology的状态

Twitter Storm中Topology的状态 状态转换如下,Topology 的持久化状态包括: active, inactive, killed, rebalancing 四个状态。 代码上看到每种状态都可以转换成一些持久化 ( 写入到 zk 中的状态 ) 或者中间状态。 Java代码   (defn state-transitions [nimbus storm-

jmppok的专栏 3733

达梦DM8整合Seata AT模式实战:手把手教你搞定分布式事务(含源码修改避坑)

本文详细介绍了达梦DM8数据库与Seata AT模式的深度整合实战,包括环境准备、架构设计、源码适配及分布式事务落地。通过独创性源码改造,解决了Seata官方对达梦数据库AT模式支持的限制,为国产数据库在微服务架构中的应用提供了可靠的事务保障。

weixin_30764771的博客 333

【Unity】 预制体Prefab使用说明

在 Unity 中,Prefab 是一个可以预先制作并重复使用的 GameObject 或组件集合,Prefab 中的 GameObject 可以有子对象和其他组件。

灵境引路人 2852

Storm 配置、命令(提交 Topology 到集群)

一、

你挺淘啊的博客 4260

AUTOSAR 导入DBC ISOLAR工程配置

ISOLAR工程配置-dbc导入

汽车电子电气 2408

Storm Topology组件

前面的章节已经提到过,Storm集群中的任务称之为Topology。 对比Hadoop中的MapReduce job,mapper用于从数据源中获取数据,经过简单处理,以一定的格式传递给reducer,reducer负责后续处理。 类似的,Topology任务也要从数据源中获取数据,然后进行后续处理。在Topology中从外部数据源获取数据的组件,称之为Spout,处理数据的组件,称之为bolt。一个Topology就是由一个或者多个的Spout和Bolt组成。 对于如下: 数据获取 数据处理 Hadoop

萌兔兔MMQ!! 859

无实习经验?IT应届生简历封神思路:把校园经历写成offer收割机

摘要: IT应届生无实习经历如何打造竞争力简历?本文揭秘“无实习简历封神指南”,通过四大步骤将校园经历转化为HR认可的硬核技能: 素材挖掘:课程设计、个人项目、社团活动、竞赛证书都是隐藏的“实战经验”,用STAR法则细化成果。 技能转化:匹配岗位JD关键词,用“动词+量化结果”包装经历(如“优化查询效率30%”)。 避坑指南:避免流水账、夸大技能或堆砌无关经历,聚焦技术能力与岗位需求。 核心逻辑:HR看重潜力而非经验,用校园经历证明学习能力、问题解决能力和技术落地能力。 无实习≠无竞争力,学会“翻译”经历,

通俗易懂学IT 424

【多目标跟踪】ByteTrack复现(有yolov5例子)

1.环境 ubuntu16.04 cuda10.1 cudnn7 python3.6 Cython matplotlib>=3.2.2 numpy>=1.18.5 opencv-python>=4.1.2 Pillow PyYAML>=5.3 scipy>=1.4.1 tensorboard>=2.2 torch>=1.7.0 torchvision>=0.8.1 tqdm>=4.41.0 seaborn>=0.11.0 easydic

聿默的博客 1万+

如何本地调试Storm topology

1. 在Main程序中,要使用 LocalCluster提交topology LocalCluster cluster = new LocalCluster(); cluster.submitTopology("word-count", conf, builder.createTopology()); Thread.sleep(10000); cluster.shutdown

sunspeedzy的博客 3487

华为OD机试双机位C卷-停车场收入统计 (Py/Java/C/C++/Js/Go)

华为OD机试双机位C卷 停车场收入统计,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解。华为OD机试 - 停车场收入统计。

qq_45776114的博客 2186

LLMs之WebRAG:STORM/Co-STORM的简介、安装和使用方法、案例应用之详细攻略

​ LLMs之WebRAG:STORM/Co-STORM的简介、安装和使用方法、案例应用之详细攻略 目录 STORM系统简介 STORM系统安装和使用方法 案例应用 STORM系统简介 2024年4月发布,STORM是一个基于大型语言模型(LLM)的知识整理系统,能够根据互联网搜索结果从零开始撰写类似维基百科的文章,并包含参考文献。它将长文章的生成过程分解为两个阶段: >> 预写阶段:系统进行基于互联网的调研,收集参考资料并生成提纲。 >> 写作阶段:系统利

头部AI社区如有邀博主AI主题演讲请私信—心比天高,仗剑走天涯,保持热爱,奔赴向梦想!低调,专注,谦虚,自律,反思,成长,还算比较正能量的博主,公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然,有点小情怀,也有点使命感呀 3730

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

RAG内容生成革新:STORM与Co-STORM引领智能检索与人类协作

AI大模型作为人工智能领域的重要技术突破,正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口,掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程,需要从基础开始,逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源,包括:AI大模型全套学习路线图(从入门到实战)、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等,资料免费分享!

Androiddddd的博客 1451

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Storm的安装

(1)还是不变的下载环节,这里我用的storm-1.1.3版本,试过2.0.0,在我项目中很多bug,可能是版本之间不匹配的问题吧。还是下载到/opt/software下的噢 wget https://mirrors.tuna.tsinghua.edu.cn/apache/storm/apache-storm-1.1.3/apache-storm-1.1.3.tar.gz (2)编辑系统配置...

Chain的博客 4617

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

STORM: AI编写类似 Wikipedia 的文章

STORM 是一个 LLM 系统,它基于 Internet 搜索从头开始编写类似 Wikipedia 的文章。Co-STORM 通过使人类协作 LLM 系统支持更一致和首选的信息搜索和知识管理,进一步增强了其功能。虽然该系统无法生成通常需要大量编辑的可发布文章,但经验丰富的维基百科编辑发现它在他们的预编写阶段很有帮助。

1063

一手体验STORM写作系统,这才是AI写作的未来形态。

STORM 测试结果它的测试结果,也值得一看。STORM 生成的文章,在多个评估维度上都展现出了不错的表现,在某些方面超越了目前最先进的AI写作方法。论文链接:https://arxiv.org/pdf/2402.14207为了让大家更好理解这个进步,我们先看看目前主流的AI写作方法。最基础的是Direct Gen,它就像是一个简单的"想到什么写什么"的模式,先生成提纲,再扩展成文章。然后是RAG方法,这个有点像我们写论文时会先查资料一样,系统会基于主题搜索相关信息,再进行创作。

具身机器人和通用AI 1587

基于docker的storm集群搭建

基于docker的storm集群搭建一、创建docker容器1.创建storm的局域网2.创建主节点的容器3.创建从节点容器4.配置hosts文件二、搭建zookeeper集群1.配置java环境2.下载zookeeper安装包3.将安装包发送到docker容器中4.对zookeeper进行配置5.配置环境变量6.将zookeeper发送到从节点7.启动zookeeper集群三级目录 一、创建docker容器 我所使用的镜像是ubuntu的镜像 1.创建storm的局域网 docker network cr

独醉的博客 2512

Storm学习

Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架。 Storm能处理高频数据和大规模数据的实时流计算解决方案将被应用于实时搜索,高频交易和社交网络上。而流计算并 不是最近的热点,金融机构的交易系统正是一个典型的流计算处理系统,它对系统的实时性和一致性有很高要求。 与Hadoop比较: 数据来源:HADOOP是HDFS上某个文件夹下的可能是成TB的

Hello 我的 1843

Storm 组件安装部署

Storm 组件安装部署

tian的博客 1886

Storm 环境配置及Storm starter运行

一、            Storm基本安装 1. 安装python ================================= # wget http://www.python.org/ftp/python/2.7.2/Python-2.7.2.tgz # tar zxvf Python-2.7.2.tgz # cd Python-2.7.2 # ./configure

zhang434的专栏 3390

Apache Storm

Apache Storm 一、概述 http://storm.apache.org/ Apache Storm是一款免费开源的分布式实时计算的框架(流处理) Apache Storm可以非常容易并且可靠的处理无界的流数据,进行实时的分析处理。 Apache Storm支持多种编程语言(1.x版本Clodure 2.x版本Java重构)。适用场景:实时分析,在线的机器学习,持续计算,分布式的RP...

qq_40822132的博客 6336

Apache Storm学习笔记一:创建Storm集群

这学习笔记系列采用的是storm1.1.1版本。参照官方文档:http://storm.apache.org/releases/1.1.1/ 1创建zookeeper集群 2在nimbus和worker机器上安装依赖 3下载storm发布到nimbus和worker的机器上 4配置stormyaml 5通过storm脚本运行守护进程1、创建zookeeper集群Storm使用zookeeper来协调

岁月无情人有情 1403

Lucky 路由:5分钟配好DDNS+端口转发,告别记IP

周五晚上客户临时要一份NAS里的资料,人在地铁上根本连不上;光猫一重启,公网IP又换了,记IP这条路彻底走不通。 Lucky 是一款面向软硬路由的一体化工具:DDNS、IPv4/IPv6 端口转发、反向代理、WOL 远程唤醒,全部在一个网页后台里配完。 ## Docker一条命令部署 Lucky ```bash docker run -d --name lucky --restart=alw

gitblog_00536的博客 356

Storm UI性能监测,工具:Monit、nmon、Zabbix、Storm-Benchmark

Storm性能监测工具:nmon、Zabbix性能监测Storm UI性能指标监测工具nmon下载与配置运行与使用nmon命令:数据分析nmon analyser下载与使用nmon analyser 参数详解Zabbix待续 性能监测 参考原文:https://blog.youkuaiyun.com/csdn_wangqi/article/details/53377657 如何找到Topology的性能瓶颈? 除了通过系统命令查看CPU使用,jstack查看堆栈的调用情况以外,还可以通过Storm自身提供的信息来对性能

展信佳,当你看到这段简介的时候,我“风吹海洋浪”已走马上任优快云博客平台。我来这只办一件事:致力于将模糊的概念清晰化,技术的语言通俗化,复杂的关系逻辑化,孤岛的知识碎片结构化,让我一心和技术大佬们共同进步,最重要的是!!!!!忘记【你】 1801
上一篇: 主流流处理框架之间的区别
下一篇: SpringCloud-RestClient Feign
zax_java
博客等级 码龄8年 62粉丝 23原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值