storm1.2.2集群搭建

Looker语义层建模实战:7天交付可审计BI生产环境 Looker不是可视化工具,而是基于SQL的语义层编译器,其核心在于将分散数据表中的业务逻辑(如'支付成功')抽象为全局统一的字段与指标。它通过LookML定义维度、度量和关联关系,实现口径收敛、权限沙盒化与计算逻辑下沉,从而解决多部门报表不一致的根本痛点。技术价值体现在模型层一次定义、多看板自动生效,大幅降低维护成本;典型应用场景包括电商GMV归因、销售漏斗分析、财务合规报表等。本文聚焦高强度实战路径,以交付倒逼建模规范,深度解析语义层建模、SQL逻辑抽象等关键实践。 阅读详情

环境准备

jdk1.8
zookeeper3.4.12
服务器1192.168.1.201 (s201)
服务器2192.168.1.202 (s202)
服务器3192.168.1.203 (s203)

一 配置jdk

不会可以参考jdk1.8配置

二 zookeeper集群搭建

zookeeper集群搭建

二 Storm集群搭建

1 在192.168.1.201(s201)上解压apache-storm-1.2.2.tar.gz,并配置storm环境变量
在这里插入图片描述
在这里插入图片描述
2 配置storm.yaml

[root@localhost apache-storm-1.2.2]# cd conf/
[root@localhost conf]# vim storm.yaml 
[root@localhost conf]# 

storm.local.dir: /home/storm    ###创建该路径文件夹
storm.zookeeper.servers:         ##zookeeper集群地址(不要写 nimubs 所在的主机名称,否则storm UI 会加载不出来)
     - "s202"
     - "s203"
# 

storm.zookeeper.port: 2181

nimbus.seeds: ["s201"] 

ui.host: 0.0.0.0    ###storm UI 访问IP  可以不写
ui.port: 8080      #### storm ui 访问端口

supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

  • storm.local.dir:Nimbus和Supervisor守护进程需要本地磁盘上的目录来存储少量状态(如jar,confs和类似的东西)。 您应该在每台计算机上创建该目录,为其提供适当的权限,然后使用此配置填写目录位置。 例如:
    storm.local.dir: “/data/storm”

  • nimbus.seeds:工作节点需要知道哪些机器是主机的候选者才能下载拓扑jar和confs。

  • nimbus.seeds: [“server1”]
    我们鼓励您将值填写到机器的FQDN列表中。 如果要设置Nimbus H/A,则必须解决运行nimbus的所有计算机的FQDN。 当您只想设置“伪分布式”群集时,您可能希望将其保留为默认值,但仍鼓励您填写FQDN。

  • supervisor.slots.ports:对于每个工作者计算机,您可以使用此配置配置在该计算机上运行的工作程序数。 每个工作人员使用单个端口接收消息,此设置定义哪些端口可以使用。 如果您在此处定义了五个端口,那么Storm将分配最多五个工作人员在此计算机上运行。 如果定义三个端口,Storm最多只能运行三个端口。 默认情况下,此设置配置为在端口6700,6701,6702和6703上运行4个工作程序。例如:
    在这里插入图片描述

3 拷贝 apache-storm-1.2.2 到 192.168.1.202(s202),192.168.1.203(s203)上

scp -r apache-storm-1.2.2   root@192.168.1.202:/opt/ ##需要输入密码
scp -r apache-storm-1.2.2   root@192.168.1.203:/opt/

然后配置storm的环境变量
在这里插入图片描述

三 节点启动

nimbus(192.168.1.201)上的启动脚本

nohup /opt/apache-storm-1.2.2/bin/storm nimbus > /dev/null & 
nohup /opt/apache-storm-1.2.2/bin/storm ui > /dev/null &
nohup /opt/apache-storm-1.2.2/bin/storm logviewer > /dev/null &

supervisor上启动脚本

nohup /opt/apache-storm-1.2.2/bin/storm supervisor > /dev/null &
nohup /opt/apache-storm-1.2.2/bin/storm logviewer > /dev/null &
nohup /opt/apache-storm-1.2.2/bin/storm logviewer > /dev/null &

最后在浏览器访问 192.168.1.201:8080
在这里插入图片描述
这就证明storm 集群搭建成功

apache-storm-1.2.1.tar.gz storm是最火的实时流式处理框架,本资源是storm1.2.1linux系统专用,本人亲测能用 立即下载

相关推荐

apache-storm-1.2.2.tar.gz

官网下载的apache-storm-1.2.2.tar.gz安装包,需要的朋友拿走

storm1.2.2 集群搭建

1、下载安装包 http://storm.apache.org/ 2、修改conf目录下的storm.yaml配置文件 #注意,storm对配置文件的格式校验非常严格,以下配置项,每行前要有一个空格,-和:后都要有空格 #zookeeper地址, storm.zookeeper.servers: - "xx.xx.xx.xx" storm.zookeeper.port: 2181 ...

wjlzx的博客 558

VINS-Mono 代码详细解读——IMU预积分的残差、Jacobian和协方差 processIMU()+intergrationBase类+imu_factor.h

IMU离散中值预积分 1.1、IMU模型 测量值:加速度计a^、陀螺仪w^, 加上了bias游走和随机白噪声。 真实值:加速度计a、陀螺仪w。 实际情况下,可以获得测量值a^和w^,需要反推真实值。一般忽略随机游走高斯噪声n w=w^-bg; a=qwb(a^-ba)-gw; 1.2、连续时间IMU运动模型,积分 PVQ(两帧之间) 将第k帧和第k+1帧所有的IMU进行积...

try_again_later的博客 9267

Storm-1.2.2完全分布式安装

环境:zookeeper-3.4.10,ubuntu-16.0.4,jdk1.8.0_111我这里在四台机器上安装,分别是Desktop(Master),Server1,(Slave1),Server2(Slave2),Server3(Slave3)可以将Storm中的nimbus看作是Hadoop中的Master,将supervisor看作是Slave。安装Storm之前,需要先安装zookee...

SCGH_Fx的专栏 4342

OpenClaw + Ollama 本地大模型部署教程:彻底告别Token焦虑

OpenClaw + Ollama 本地大模型部署教程:彻底告别Token焦虑

leaning_java的博客 1229

第二十七届华东杯数学建模A 题 跳台滑雪问题 完整思路模型及代码

考虑到滑行过程中的空气阻力和摩擦力对速度的影响,我们引入了不同姿态下运动员迎风面积和空气阻力系数的变化,利用牛顿第二定律建立加速度表达式,并通过数值模拟比较常见姿态下的终端速度。针对问题二,我们构建了二维空中飞行动力学模型,结合起跳速度、身体迎角、滑雪板倾角等因素,模拟运动员在空中飞行的轨迹与姿态变化,采用欧拉法对运动过程进行仿真,优化飞行路径和稳定性。仿真结果表明,运动员应在起跳后保持滑雪板与身体成“V”字形打开、重心略后倾的姿态,以增强升力、延长飞行距离并提高姿态得分。,并模拟出跳跃的轨迹和最终得分。

lichensun的博客 3209

Storm集群搭建(1.2.2版本)

storm集群部署(1.2.2版本) 前提环境 CentOS release 6.4 (Final)+JDK8+Python 2.6.6 集群部署 设置zookeeper集群 略 机器要求环境 Java 7+(Apache Storm 1.x通过travis ci对java 7和java 8 JDK进行测试) Python 2.6.6(Python...

那年花下月如雪 1493

win11重装系统简易教程-小白也可以上手!

本文介绍一下win11系统重装的各个步骤,也作为记录供自己后面查看。附上我之前参考的一位知乎大神写的重装win10系统文章的地址本文用到的工具全部是,不需要下载第三方镜像文件(不是说这个不好,只是第三方的软件或镜像文件网上非常多,琳琅满目,小白需要筛选甄别,直接用官方的就比较省心,大神请自便~)

Sddqa的博客 1万+

Storm(1.2.1)集群环境搭建

1,Storm基础介绍:    Storm作为大数据处理框架之一,其和Spark一样具有非常广泛的使用,如下为Storm的架构图: 在了解集群配置安装之前需要掌握如下几个概念(concept):拓扑(Topologies):类似Hadoop的MapReduce 的任务(Job),区别在于 MapReduce 的一个 Job 在得到结果之后总会结束,而拓扑会一直在集群中运行,直到被手动终止。流(St...

穿梭的专栏 3294

MATLAB实战:四桥臂逆变器3D-SVPWM调制算法仿真全流程(附代码)

本文提供了一份完整的MATLAB/Simulink实战指南,详细解析了四桥臂逆变器的3D-SVPWM调制算法仿真全流程。文章从工程实践出发,手把手指导如何搭建模型,涵盖从abc静止坐标系变换、三维空间矢量区域判定、作用时间计算到PWM信号生成与调试等核心环节,并附有代码示例和常见问题解决方案,旨在帮助工程师快速掌握这一应对不平衡负载的高效调制技术。

qsc90123456的博客 234

Windows下高效部署llama.cpp:从环境配置到模型量化的完整指南

本文提供了一份详尽的Windows系统下部署llama.cpp的完整指南。内容涵盖从Python环境配置、使用CMake与MinGW编译工具链的搭建,到编译llama.cpp项目、获取并转换模型为GGUF格式,以及执行模型量化和基础推理测试的全过程。指南旨在帮助开发者在普通Windows电脑上,无需高端显卡,仅凭CPU即可高效运行大语言模型,并重点解决了部署过程中常见的环境与编译错误。

weixin_28841265的博客 882

storm1.2.2的集群搭建

准备工作: zookeeper集群搭建,这里我就不再写了,链接为zookeeper集群搭建 三台机器: IP 机器名称 172.16.1.105 masterO 172.16.1.114 slave01 172.16.1.115 slave02 storm集群搭建 这里我下载的storm压缩包为apache-storm-1.2.2.tar,以下操作我都是在/...

W 214

am62x A53与R5F通信

AM62x是Ti的一款异构多核芯片。remoteproc驱动,硬编码(写死)了R5F/M4F固件的名字,这样驱动启动时,就会找硬件编码的固件,下面是其对应关系。值得注意的是,linux内核中的M4F remoteproc驱动启动M4F,而linux内核中的R5F remoreteproc驱动不启动R5F,相反,它attach到已经在boot阶段启动的R5F固件上。在/lib/firmware的真实固件名:,而我们生成的固件名如下所示,没有直接对应的,经确认,.out文件就是我们需要的,重命名后即可。

鹰之翔 1363

storm1.0.2版本集群搭建完整步骤

storm1.0.2版本集群搭建完整步骤 storm集群搭建 storm集群也是由主节点和从节点组成的。 storm版本的变更: storm0.9.x storm0.10.x storm1.x 前面这些版本里面storm的核心源码是由java+clojule组成的。 storm2.x 后期这个版本就是全部用java重写了。 (阿里在很早的时候就对storm进程了重写,提供了js...

大数据技术博客 7123

【科研绘图系列】R语言绘制代谢物与临床表型相关性的森林图

本研究通过森林图展示了特定代谢物与三种临床比较之间的相关性分析结果。这种方法不仅直观地展示了每个代谢物的效应大小和不确定性,还允许我们比较不同代谢物在不同临床比较中的影响。森林图的结果表明,某些代谢物在特定临床比较中显示出显著的相关性,这可能为理解疾病的代谢机制提供了重要线索。

专注生信领域 566

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

storm1.2.1集群搭建

storm集群搭建 storm集群搭建有如下三个步骤,搭建java环境,安装zookeeper环境,安装storm环境,下面我就一一为大家介绍下: 安装java环境 首先到jdk官网上下载你想要的jdk版本,下载完成之后将需要安装的jdk安装包放到系统指定的文件夹下,并且命令进入该文件夹下: 解压:tar –zxvf jdk-7u131-linux-x64.tar.gz 设置环境变量:vi...

会飞的鱼 1532

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

Storm(三)CentOS7.5搭建Storm1.2.2集群

一.Storm的下载 官网下载地址:http://storm.apache.org/downloads.html 这里下载最新的版本storm1.2.2,进入之后选择一个镜像下载 二.Storm伪分布式安装 1.环境准备 JDK 1.7+ 验证: java -version Python 2.6.6+ 验证:python -V 2.解压安装包 [admin@node21 software]$ tar zxvf apache-storm-1.2.2.tar...

weixin_42073629的博客 342

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

基于centos7 搭建storm1.2.3集群过程

1.环境准备 申请3台测试环境,IP地址如下: 192.168.162.201 m162p201 192.168.162.202 m162p202 192.168.162.203 m162p203 1.1 修改hosts vim编译 /etc/hosts 分别在每台服务器上增加对应的hosts配置 #在192.168.162.201 上配置 192.168.162.201 m162p201 #在192.168.162.202 上配置 192.168.162.202 m162p202 #在19

dhaibo1986的专栏 845

Storm(二)CentOS7.5搭建Storm1.2.2集群

一.Storm的下载 官网下载地址:http://storm.apache.org/downloads.html 这里下载最新的版本storm1.2.2,进入之后选择一个镜像下载 二.Storm伪分布式安装 1.环境准备 JDK 1.7+ 验证: java -versionPython 2.6.6+ 验证:python -V 2.解压安装...

dengshuabi6933的博客 180

3分钟完成storm搭建

storm伪集群

程冯冯的博客 2万+

Storm1.2.3 集群环境搭建

Storm集群环境 创建软连接:ln -svnf apache-storm-1.2.3 storm vim conf/storm.yaml storm.zookeeper.servers: - "node01" - "node02" - "node03" nimbus.seeds: ["node01"] storm.local.dir: "/opt/data...

Geek_ymv的专栏 866
上一篇: Redis(单节点)实现分布式锁
下一篇: mqtt教程(一):Apollo服务器搭建(Windows版)
jessDL
博客等级 码龄8年 11粉丝 57原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值