【Storm篇】--Storm从初始到分布式搭建

实时计算框架之一:Storm之框架搭建 1 迟来的更新 首先,抱歉这么久没有更新博客了。最近一直失眠中,脑子一直很乱,各种事情又非常多,还请大家体谅。就这么莫名发了一天呆,本来想写点代码,打开电脑,却怎么也提不起任何心去思考;想要躺着睡觉,却头疼的要命。刚好手头上有前几天总结的文章,就顺势粘贴拷贝上来了。 内容主要是实时计算框架Storm相关,为了更好的用户体验,所以开始调研云计算方面的知识,刚好以前没有研究学习过,所以也总结在这里 阅读详情

=========================================================

声明:由于不同平台阅读格式不一致(尤其源码部分),所以获取更多阅读体验!!

请关注本人博客园地址:http://www.cnblogs.com/LHWorldBlog/

个人网站地址:http://www.lhworldblog.com/

==========================================================


一、前述

Storm是一个流式处理框架,相比较于SparkStreaming是一个微批处理框架,hadoop是一个批处理框架。

二 、搭建流程

1.集群规划

         Nimbus    Supervisor   Zookeeper
node01      1                                
node02                 1                      1
node03                 1                      1

node04                 1                      1

2.配置

node01作为nimbus。
 vim conf/storm.yaml

storm.zookeeper.servers:
  - "node02"
  - "node03"
  - "node04"

storm.local.dir: "/tmp/storm"

nimbus.host: "node01"

supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703
PS:supervisor.slots.ports 相当于启动4个worker进程
配置一定要顶格写!!!!!!!
3.创建log文件
在storm目录中创建logs目录
 mkdir logs启动ZooKeeper集群
4.启动服务
node1上启动Nimbus
 ./bin/storm nimbus >> ./logs/nimbus.out 2>&1 &
 tail -f logs/nimbus.log
 ./bin/storm ui >> ./logs/ui.out 2>&1 &
 tail -f logs/ui.log

节点node02和node03,node04启动supervisor,按照配置,每启动一个supervisor就有了4个slots
./bin/storm supervisor >> ./logs/supervisor.out 2>&1 &
 tail -f logs/supervisor.log
(当然node1也可以启动supervisor)

http://node1:8080/
提交任务到Storm集群当中运行:
 ./bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.4.jar storm.starter.WordCountTopology test

环境变量可以配置也可以不配置
export STORM_HOME=/opt/sxt/storm
export PATH=$PATH:$STORM_HOME/bin

 

 
Storm工作原理&集群环境搭建 其工作原理基于流处理模型,将数据流分解成一系列的小批次,然后对每个小批次进行实时处理和分析,最终将结果输出到目标系统中。通过以上步骤,您应该能够成功地搭建一个完整的Storm集群环境,并在其中运行实时计算任务。请注意,在搭建过程中要仔细阅读相关文档和参考资料,并根据实际情况进行适当的调整和优化。Storm通过Spout和Bolt之间的数据流传递实现了实时计算,同时利用Nimbus和Supervisor的协同工作保证了集群的稳定性和可靠性。一、Storm集群环境搭建准备。二、Storm集群环境搭建。 阅读详情

相关推荐

Storm系列(一):搭建dotNet开发Storm拓扑的环境

上篇博客比较了目前流行的计算框架特性,如果你是 Java 开发者,那么根据业务场景选择即可;但是如果你是 .Net 开发者,那么三者都不能拿来即用,至少在这篇文章出现之前是如此。基于上篇文章的比较发现,Storm 应该是对多语言支持比较好的框架了,但即便如此,官方也没有提供 .Net 的适配器,网上也找不到第三方的开源库。So,Storm.Net.Adapter 出现了,一个使用 Csharp 开发

The NewIdea 2510

高效搭建Storm完全分布式集群

问题导读: 1.storm是否为主从式? 2.storm需要哪些安装哪些软件? 3.如何验证storm是否安装成功?

zhanglc_5168的专栏 1423

【Docker】Ubuntu安装Docker

1 安装Docker 安装Docker有三种方法,这里只用repository安装,更详细的安装方法可以看官方文档。 1.1 添加repository 首先更新apt: sudo apt-get update 安装一些包让apt可以通过https使用repository: sudo apt-get install \ apt-transport-https \ ca-certif...

widiot的博客 9952

Storm - 集群搭建

一、环境要求JDK 1.6+    java -versionPython 2.6.6+    python -VZooKeeper3.4.5+    storm 0.9.4+二、单机模式上传解压$ tar xf apache-storm-0.9.4.tar.gz $ cd apache-storm-0.9.4$ mkdir logs$ ./bin/storm --help下面分别启动ZooKee...

qq_38589824的博客 322

GD-Link离线烧录全攻略:从配置到一键下载的保姆级教程

本文详细介绍了GD-Link离线烧录的全流程,从硬件准备到软件配置,再到一键下载的实战技巧。通过保姆级教程,帮助工程师快速掌握国产MCU的离线烧录技术,适用于产线批量烧录和现场设备维护等场景,显著提升工作效率。

ww90123的博客 656

低功耗基础概念——Level Shifter cell补充

信号跨越不同级别电压模块进行驱动时,需要使用level shifter。 H2L Level shifer 从高电压到低电压的level shifter,可以是两个反相器的串联。 输入高电平区域信号INH,输出低电平区域信号OUTL,注意供应电源由低电压模块提供,即图中的VDDL。 从图中可以看出,H2L的level shifter只会引入一个buffer的延迟,对时序的影响较小。 L2H Level shifer 用低电压区域的信号invert和buffer之后得到的一对信号来驱动工作在高电压区域的交

qq_36480087的博客 1万+

storm完全分布式搭建步骤详解

storm完全分布式搭建 1、你需要先配置好你的需要搭建好zookeeper在你将要搭建storm的主机上 2、将storm的压缩包解压到/opt下 3、进入到/opt/apache-storm-0.10.0/conf,对 storm.yaml进行如下配置 #配置zookeeper的地址 storm.zookeeper.servers: - "node1" - "node2" - "n...

qq_36770189的博客 665

无限维李代数局部与2-局部1/2-导子:从概念到Witt代数实例解析

在抽象代数与数学物理中,李代数是描述对称性的基本结构,而导子则是刻画其微分性质的核心算子。从经典的导子概念出发,通过引入“局部”与“分数阶”两个关键推广,形成了局部导子、2-局部导子以及1/2-导子等重要研究方向。这些推广不仅深化了对无限维李代数(如Witt代数、Virasoro代数)复杂结构的理解,其研究方法和结论也为共形场论、可积系统等物理理论提供了数学基础。本文聚焦于无限维李代数上局部与2-局部1/2-导子的系统研究,通过拆解核心概念、剖析典型代数结构,并以Witt代数为实例,详细演示了从全局1/2-

weixin_34072296的博客 393

Storm-1.2.2完全分布式安装

环境:zookeeper-3.4.10,ubuntu-16.0.4,jdk1.8.0_111我这里在四台机器上安装,分别是Desktop(Master),Server1,(Slave1),Server2(Slave2),Server3(Slave3)可以将Storm中的nimbus看作是Hadoop中的Master,将supervisor看作是Slave。安装Storm之前,需要先安装zookee...

SCGH_Fx的专栏 4342

Camera Sensor接口协议全解析(六)聚焦onsemi HiSPi接口的技术突破与应用实践

摘要: Onsemi HiSPi是一种高速并行接口协议,专为高分辨率图像传感器设计,具备1600 Mbps传输速率、低功耗和高兼容性特点。通过对比DVP、MIPI CSI-2等主流协议,HiSPi在工业/医疗领域表现突出,支持动态功耗控制、多ROI和CRC校验。其创新架构包含多PHY设计,提供分组SP、流SP等多种工作模式,满足灵活传输需求。实际应用中,HiSPi在PCB缺陷检测(5μm精度)和液晶面板检测(0.3% Mura检出率)等场景展现卓越性能,成为高速成像领域的关键技术。

GateWorld的博客 1437

如何用Python编程实现算术割圆术?

第10章 割圆术 Python编程要点 from … import …语句 math模块的sqrt()函数 round()函数 10.1 图解九章 {:–}觚( gū ):正多边形。“六觚”即正六边形,“十二觚”即正十二边形。 图10-1 六觚、十二觚、二十四觚 提示 图10-1所示由图解九章源码中的“图解割圆术.py”自动绘制而成,我们可运行脚本文件,查看动态的绘制过程。 割六觚以...

人邮异步社区 3238

6G显存本地部署MiniMax H3:视频生成加速400%实战指南

AI视频生成是当前内容创作领域的热门方向,但高质量视频生成模型往往依赖云端GPU或高规格显卡,显存不足成为创作者面临的普遍瓶颈。理解视频生成的基本原理,即文本编码、噪声帧迭代去噪、VAE解码等步骤,就能明白显存消耗主要来自模型权重、中间激活值和KV Cache。通过分块采样、模型卸载、混合精度等优化技术,可以在低显存设备上实现高效推理,从而降低硬件门槛和制作成本。这种轻量化部署方案广泛适用于短视频制作、漫剧创作、广告宣传等场景,尤其适合需要本地化、批量化生成内容的团队。MiniMax H3正是基于这些思路,

weixin_34306593的博客 136

2026华为OD机试真题 10月28日 新系统 - AI推理任务并行额度

华为OD机试真题 新系统【AI推理任务并行额度】,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解,以及在线OJ模拟做题。华为OD机试真题 【AI推理任务并行额度】多语言题解.

qq_45776114的博客 274

Storm之分布式搭建

一、Storm的下载 官网下载地址:http://storm.apache.org/downloads.html 这里下载最新的版本storm1.2.2,进入之后选择一个镜像下载 二、Storm伪分布式安装(默认自带zookeeper) 1.环境准备 JDK 1.7+ 验证: java -version Python 2.6.6+ 验证:python -...

lixinkuan的博客 730

爬虫进阶必备:深入理解requests.Session(),提升爬虫效率与稳定性

前两天,有个朋友跟我吐槽,说自己写了个爬虫爬取某个电商网站的商品信息,刚开始跑得好好的,爬了大概几百页之后,突然就开始报错了。HTTP状态码一会儿429,一会儿403,最离谱的是有些页面明明登录了却显示未登录状态。他排查了半天也没找到原因,最后把代码发给我看。 我扫了一眼代码,发现一个典型问题:他每次请求都新建一个requests.Session(),甚至有些请求直接用了requests.get()。这就好比每次进超市都要重新注册会员,每次都重新跟服务器“握手”,不翻车才怪。 其实,这就是我们今天要聊的

2201_76125261的博客 1231

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

Storm分布式集群搭建

Storm分布式集群搭建1、解压Storm压缩文件[root@master software]# tar -zxf apache-storm-0.10.0.tar.gz -C /opt/modules [root@master software]# cd /opt/modules [root@master modules]# mv apache-storm-0.10.0 storm-0.10.0 2

爱偷吃香蕉的萌猴子 4127

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

手把手教学storm分布式搭建,及java代码对集群的操作,其实流处理也很简单!!!!!

storm完全分布式搭建 1、配置JDK 2、配置zookeeper https://blog.youkuaiyun.com/lpf787887/article/details/89323227 3、将storm解压到/opt tar -zxf zookeeper-3.4.6.tar.gz -C /opt/ 4、配置: vi /opt/apache-storm-0.10.0/conf/storm.yaml...

Lpf的博客 3956

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

【详解】搭建Storm集群

在搭建一个基本的 Storm 集群时,涉及到的主要组件包括 Nimbus、Supervisor 和 ZooKeeper。下面我将通过一个简单的例子来展示如何搭建一个基本的 Storm 集群,并编写一个简单的拓扑(Topology)来处理流数据。ZooKeeper 是一个分布式的协调服务,Storm 使用它来进行节点之间的协调和状态管理。Nimbus 是 Storm 的主节点,负责分配任务给各个 Supervisor,并监控它们的状态。​,你应该能看到Storm UI界面,显示集群的状态和拓扑信息。

牛肉胡辣汤 1245

Storm——分布式实时流式计算框架

Storm 第一章 是什么一 介绍二 拓扑流程流式处理实时处理三 性能对比Storm 与MapReduce的关系Storm 与 Spark Streaming 的关系四 计算模型第二章 Storm编程案例一 WordSum ( 数据累加 )SpoutBoltTest二 WordCountSpoutBoltTest第三章 Storm Grouping1. Shuffle Grouping2. F...

时间静止 4048

基于Docker的分布式Storm实时计算平台搭建

1. 准备好系统环境及使用的软件(务必看下) Ubuntu 20.04 Hadoop 3.1.4 Docker 19.03.13 Storm 2.2.0 Zookeeper 3.7.0 JDK 1.8.0_261 远程开发工具:vs code ssh,这个纯粹的就是个工具,你用shell,putty等都可以 2. Docker集群部署 2.1 安装Docker 命令1(主机): sudo apt-get update #解释:更新安装源 命令2(主机): sudo snap install docke

welcomword的博客 958

Storm分布式实时计算系统搭建

Storm实时计算系统 Apache Storm 是一个免费的开源分布式实时计算系统。Storm 可以非常容易地实时处理无限的流数据。所谓实时处理是指在每条数据的产生时刻不确定的情况下,一旦有数据产生,系统就会立刻对该...

天涯芳草 719

Storm简介——初始Storm

一、什么是Storm Strom是由Twitter开源的类似于Hadoop的实时数据处理框架。Strom是分布式流式数据处理系统,强大的分布式集群管理、便捷的针对流式数据的编程模型、高容错保障这些都是其成为流式实时数据处理的首选。 二、Storm特点与优势 1)易用:为复杂的流计算模型提供了丰富的服务和编程接口,开发迅速、容易上手学习...

diantu6020的博客 349

Apache Storm

Apache Storm 一、概述 http://storm.apache.org/ Apache Storm是一款免费开源的分布式实时计算的框架(流处理) Apache Storm可以非常容易并且可靠的处理无界的流数据,进行实时的分析处理。 Apache Storm支持多种编程语言(1.x版本Clodure 2.x版本Java重构)。适用场景:实时分析,在线的机器学习,持续计算,分布式的RP...

qq_40822132的博客 6336

Storm本地环境搭建详解(附实例)

目的 熟悉分布式大数据流式处理的概念和常用技术; 了解开源分布式流式处理平台 Storm 的相关知识; 掌握 Linux 下的 Storm安装步骤、配置方法和运行管理。 内容 Linux环境配置; Storm 依赖包的安装、配置和运行; Storm 的安装、配置和运行; Storm-starter 实例的使用; Storm topology 的提交和管理 。 准...

u013234360的博客 2882

【Apache Storm】

Apache Storm 作为一种强大的实时流处理框架,已经被广泛应用于多个领域,如金融交易监控、实时日志分析、用户行为分析等场景。Storm 的事件驱动模型、低延迟处理能力、分布式容错机制,使其在处理实时数据流时具有明显的优势。尽管 Storm 在低延迟和高可靠性方面表现出色,随着流处理领域的发展和用户需求的演变,Storm 也面临着进一步发展的机遇与挑战。

athicket 1142
上一篇: 【Storm篇】--Storm中的同步服务DRPC
下一篇: 【Storm篇】--Storm 容错机制
L先生AI课堂
L先生AI课堂 领域专家: 大数据技术领域 领域专家: 大数据技术领域
博客等级 码龄9年 678粉丝 216原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

L先生AI课堂

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值