storm 分布式 安装部署

storm完全分布式部署 本实验任务主要完成基于ubuntu环境的storm完全分布式部署。通过完成本实验任务,要求学生掌握storm完全分布式部署的来操作流程和配置内容,为学生真正使用storm进行数据处理做基础,也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。掌握storm完全分布式部署的配置本次环境是:Ubuntu16.04+apache-storm-1.1.1Nimbus:Storm集群的Master节点,负责分发用户代码,指派给具体的Supervisor节点上的Worker节点,去运行Top 阅读详情

1. 安装 jdk  python       .....省略 

部署规则:

         Nimbus    Supervisor   Zookeeper
node1      1                                  1
node2                      1                  1
node3                      1                  1

 

 2.安装zookeeper  storm

     1.  tar  解压  。。。。省略

   

  解压后的目录 strom  zk1

      2.  修改storm 中 conf 目录下的strom.yaml 文件

 

2.  创建 要给logs 文件 保持日志信息

3. 安装配置zookeeper  进入到zk 目录中的conf 下  cp  zoo_sample.cfg  为 zoo.cfg

编辑 zoo.cfg

指定 自己的 data 目录   和其他 zk 的的地址 和通信端口

创建data 目录(在 zk  目录中)

创建 并 写入 zk server 的id 到 data 中

echo 1 >> /data/myid

 分发 storm  zk  到其他节点

注意:修改其他节点的zk  中 myid 文件中的id号

 

1.  分别 各个节点的 zk

分别进去到各个节点的 zk安装 目录下的bin目录  ./zkServer.sh start  启动

2. 查看 zk状态  分别是两个 follower  一个leader

3. 启动 主节点  Nimbus  (进入到strom  安装目录中)

启动 UI

节点2 和节点3  启动 supervisor

hadoop02:

hadoop03:

使用jps  命令 查看是否启动完成

查看web 界面  

安装完成

锐捷路由器DNS Proxy保姆级配置教程:从零到实战,手把手教你搞定内网域名解析 本文提供锐捷路由器DNS Proxy功能的详细配置教程,从基础环境搭建到实战测试,手把手教你实现内网域名解析。涵盖上游DNS设置、内网域名映射、故障排查等关键步骤,帮助网络管理员快速解决内网访问难题,提升工作效率。 阅读详情

相关推荐

一文入门BMS(电池管理系统)

本文章是基于曾师兄的文稿《具有组网扩展功能的新能源汽车电池管理系统》而写的文章。该文章主要是对BMS(Battery Management System,电池管理系统)做一些简要的介绍,借此助各位也助我入门BMS。有纰漏请指出,转载请说明。学习交流请发邮件 1280253714@qq.com。

weixin_45817947的博客 2万+

【Storm】【二】安装

本文搭建的是3节点的集群,需要3台linux服务器,我这里使用的是centos7版本的linux虚拟机,虚拟机网络配置如下:主节点:从节点:注:每台linux服务器的时间保持一致虚拟机搭建详见《centos虚拟机搭建与网络配置》

鸟人的博客 1339

游戏开发实战:用UE4 Marschner模型打造次世代头发渲染(附Shader代码解析)

本文详细解析了如何在UE4中使用Marschner模型实现次世代头发渲染,包括Shader代码逐行解读与参数调优。通过对比传统Kajiya-Kay模型,展示了Marschner模型在物理精确性和视觉效果上的优势,并提供了性能优化与实战技巧,帮助技术美术师提升游戏角色渲染品质。

weixin_28223453的博客 239

【Storm一】Storm安装部署

storm安装部署 解压storm安装包 $ tar -zxvf apache-storm-1.1.0.tar.gz -C /usr/local/src 修改解压后的apache-storm-1.1.0.tar.gz文件名称为storm-1.1.0 $ mv apache-storm-1.1.0 storm-1.1.0 在/usr/local/src/storm-1.1.0/目录下创建data文件...

weixin_33963189的博客 141

innovus实战攻略 | 用setUsefulSkewMode解锁时序优化的“隐藏技能”!

就像时序优化的“瑞士军刀”,参数虽多,但掌握了分类逻辑后,用起来其实很简单!如果你有更绝的用法,欢迎在评论区分享,大家一起卷起来!简单来说,它就是时序优化的“乾坤大挪移”。通过调整触发器的时钟到达时间,把关键路径的建立时间“借”给非关键路径,从而实现全局时序收敛。别急,这个命令就是你的“时序救星”!(工具最多只能借1.2ns的裕量,防止“借过头”导致新问题!这个参数能帮你兜底!(对关键路径“下死手”,确保优化到位!(设置上限,给工具套上“紧箍咒”!(直接跳过边界,避免优化反噬!(全局管理,防止“借过头”!

weixin_50820814的博客 1354

11. TI MSPM0G3507 DMA传输实战:ADC数据自动搬运与电压采集

本文以TI MSPM0G3507为例,详细讲解了如何利用DMA(直接存储器访问)实现ADC数据的自动搬运与电压采集。通过实战演示,解放CPU资源,提升系统实时性与效率,适用于电赛备赛及嵌入式开发中的数据采集场景。

weixin_42465140的博客 130

Storm架构及部署

1、Storm架构详解 2、Storm单机部署之前置条件及解压 3、Storm单机部署之启动Storm各个节点及StormUI界面部署 3.1、修改apache-storm-1.1.1/conf/storm-env.sh文件增加JDK路径参数 export JAVA_HOME=/home/storm/app/jdk1.8.0_91 注意:这里启动的zookeeper是storm内置的,启动按照顺序启动 ui界面地址:ip:8080 4、改写Storm作业并提交到Storm单节点集群运行 4.1、

zhaoxiaoba123的博客 1723

[Multisim][模电实验]简易函数信号发生器的设计与实现_北京邮电大学2019级信通院电子电路实验下

本文记述了笔者设计并实现以±12V供电电压输出1KHZ~10KHZ频率连续可调的方波、三角波和正弦波的过程。其中,方波输出电压峰峰值为12V(误差<20%),占空比可调、三角波输出电压峰峰值为8V(±20%),正弦波输出电压峰峰值≥1V。

lgc0208的博客 4万+

storm学习之集群搭建

1.Storm的集群搭建及配置 搭建Storm集群所需要的组件: Storm1.1.1 wget http://mirror.bit.edu.cn/apache/storm/apache-storm-1.1.1/apache-storm-1.1.1.tar.gz;JDK1.7+;zookeepr wget http://mirror.bit.edu.cn/apache/zookeeper/

ybin__的博客 343

rv1126如何切换720p和1080p

切换720p和1080p可以使用modetest,但是需要将这两种模式都添加到connector中去 添加一个新的mode到connector中去,其实内核中已经有相关接口了,需要做一些小改动。 1.不采用设备树的方式去配置,将720p和1080p的timing参数配置放在数组中。 2.这里的printer和设备树中的.compatible = "printer"一致。 3.将其添加到connector中去 static int panel_simple_get_fixed_modes(struct

weixin_42097108的博客 863

【LaTex】3.5 数据分析

简述了LaTex柱状图、饼图、折线图的画法。

你的指尖有改变世界的力量 5887

storm2.0分布式安装部署

1.下载软件 wget http://us.mirrors.quenda.co/apache/storm/apache-storm-2.0.0/apache-storm-2.0.0.tar.gz 2.解压软件 cd /opt tar -zxf apache-storm-2.0.0.tar.gz 3.配置配置文件 cat /opt/apache-storm-2.0.0/conf/sto...

蘑菇丁的专栏 1067

把 LangGraph 当“工作流引擎”用:与传统 BPM 的差异与融合策略

首先,我们来回顾一下有限状态机(FSM)的基本定义——一个 FSM 可以用一个五元组MQΣδq0FMQΣδq0​FQQQ有限状态集合,包含 FSM 所有可能的状态;Σ\SigmaΣ有限输入字母表,包含 FSM 所有可能的输入;δ\deltaδ状态转移函数,定义了 FSM 从当前状态q∈Qq \in Qq∈Q接收输入σ∈Σσ∈Σ后,转移到的下一个状态q′∈Qq' \in Qq′∈Q,即δQ×Σ→QδQ×Σ→Q。

AI 原生应用开发的博客 227

【大数据技术基础 | 实验十五】Storm实验:部署Storm

本实验介绍Storm基础简介及体系架构,Storm集群安装部署,Storm和Zookeeper之间的关系,并加深对Storm架构和原理的理解。

Morse_Chen的博客 2120

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Storm自学1

一、Storm 简介         Storm是一个开源的分布式实时计算系统,可以简单、可靠的处理大量的数据流。被称作“实时的hadoop”。Storm有很多使用场景:如实时分析,在线机器学习,持续计算, 分布式RPC,ETL等等。Storm支持水平扩展,具有高容错性,保证每个消息都会得到处理,而且处理速度很快(在一个小集群中,每个结点每秒可以处理 数以百万计的消息)。Storm的部署和运维都...

qq_36351824的博客 317

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

Storm[1]环境安装配置

本节内容:Apache Storm是什么Apache Storm核心概念Storm原理架构Storm集群安装部署启动storm ui、Nimbus和Supervisor 一、Apache Storm是什么Apache Storm是自由开源的分布式实时计算系统,擅长处理海量数据,适用于数据实时处理而非批处理。批处理使用的大多是鼎鼎大名的hadoop或者hive,作为一个批处理系统,hadoop以其吞...

DoveYoung欢迎大家指正! 970

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Apache Storm系列 之二( 轻松搞定 Storm 安装与启动)

Storm 是开源免费的分布实时计算系统(Apache Storm is a free and open source distributed realtime computation system)。这里提到了两个关键词: 分布式 实时 1、分布式意味着 Storm 是部署在多台主机上,它解决并发性(多机资源同时作业)以及可用性(一台主机出现问题,计算任务移交到其他机器)问题 分布式自然而...

March 1592

storm安装

1、安装一个zookeeper集群2、上传storm的安装包,解压3、修改配置文件storm.yaml所使用的zookeeper集群主机storm.zookeeper.servers: - "weekend05" - "weekend06" - "weekend07"nimbus所在的主机名nimbus.host: "weekend05"supervisor.slots.ports -6701 -6

wxq的博客 483

大数据之storm(一) --- storm简介,核心组件,工作流程,安装和部署,电话通信案例分析,集群运行,单词统计案例分析,调整并发度

一、storm简介 --------------------------------------------------------- 1.开源,分布式,实时计算 2.实时可靠的处理无限数据流,可以使用任何语言开发 3.适用于实时分析,在线机器学习,分布式PRC,ETL 4.每秒可以处理上百万条记录(元组) 5.可拓展,容错,并可保证数据至少处理一...

xcvbxv01的博客 558

storm(一)集群安装部署

1、安装环境:安装包:apache-storm-1.1.2.tar.gz机器:10.1.221.223    storm110.1.221.224    storm210.1.221.225    storm3集群JDK环境:jdk-8u131-linux-x64.tar.gz(具体安装步骤见:《Linux安装JDK步骤》)集群主机之间设置免密登陆:设置方式见:《Linux之ssh免密登录》zoo...

言蹊的专栏 293

storm安装(三台)

1、安装一个zookeeper集群 2、上传storm的安装包,解压 3、修改配置文件storm.yaml #所使用的zookeeper集群主机 storm.zookeeper.servers: - "weekend05" - "weekend06" - "weekend07" #nimbus所在的主机名 nimbus

ljk740462630的博客 402

Apache Storm 安装手记

1、 安装JDK,不再赘述 2、下载并解压storm 下载地址://storm.apache.org/downloads.html 3、修改Storm 配制 配置conf/storm.yaml ########### These MUST be filled in for a sto...

cheyalian3272的博客 149

基于Docker的分布式实时计算平台的Storm的部署过程

基于Docker的分布式实时计算平台的Storm的部署过程 1.安装 docker sudo apt update sudo snap install docker # 确认docker安装信息 sudo docker info # 停止启动查看服务 sudo snap stop docker sudo snap start docker snap services # 设置以非root用户身份运行docker命令 cat /etc/group |grep docker sudo gro

weixin_47959668的博客 508

Storm安装部署

Storm正式是一个分布式的、容错的实时计算系统,它被托管在GitHub上,遵循 Eclipse Public License 1.0。Storm是由BackType开发的实时处理系统,BackType现在已在Twitter麾下。GitHub上的最新版本是Storm 0.8.1,基本是用Clojure写的。 Storm为分布式实时计算提供了一组通用原语,可...

weixin_30852419的博客 101
上一篇: Storm 单机 安装部署
下一篇: win10 安装 oracle11G
xiaoduup
博客等级 码龄9年 23粉丝 83原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值