学习hadoop遇到的问题（记录一次storm启动报错）

最新推荐文章于 2022-01-11 16:14:38 发布
原创 最新推荐文章于 2022-01-11 16:14:38 发布 · 234 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了启动过程中遇到的'wike'错误问题，主要原因是缺少在Zookeeper中创建必要的节点。提供了两个解决方案，一是确保在Zookeeper中创建指定路径，二是检查版本兼容性。

启动报错 “wike。。。。”

原因（在其他没错的情况下）：

1、没有创建

String zkRoot = "/kafkaspout_offest";
String id = "message_log";

在zk中实行create /kafkaspout_offest message_log

 

2.版本不兼容

Hadoop集群部署实战指南
悦分享
09-24 2370
为什么使用大数据技术？数据量越来越大数据分析的实时性越来越强数据结果的应用越来越广泛我们需要使用大数据技术。大数据是收集、整理、处理大容量数据集，并从中获得结果的技术总称。Apache™Hadoop®项目用于可靠，可扩展的分布式计算的开源软件。Apache Hadoop是一个大数据处理框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。Apache Hadoop可以从单个服务器扩展到数千台计算机。Apache Hadoop集群中每台计算机都提供本地计算和存储。
Hadoop生态圈 大数据文档
BigData_XiaoBai的博客
12-01 1175
文档基于介绍基于Hadoop的大数据生态圈。介绍下图每一个组件的使用场景及使用方法，同时还对每一个组件有更深入的介绍。 ..
大数据架构师：hadoop与Storm全方位比较，到底选哪一个？
程序之道的博客
03-23 781
首先整体认识：Hadoop是磁盘级计算，进行计算时，数据在磁盘上，需要读写磁盘；Storm是内存级计算，数据直接通过网络导入内存。读写内存比读写磁盘速度快n个数量级。根据Harvard CS61课件，磁盘访问延迟约为内存访问延迟的75000倍。所以Storm更快。 注释： 1. 延时 ， 指数据从产生到运算产生结果的时间，“快”应该主要指这个。 2. 吞吐， 指系统单位时间处理的数据量。...
hadoop、Storm该选哪一个
mys328的专栏
08-12 689
http://blog.youkuaiyun.com/bitcarmanlee/article/details/53047984
ES-Hadoop学习笔记-Storm交互
PURSUE ONE PIECE
08-17 3692
elasticsearch-hadoop提供ElasticSearch与Apache Storm的集成支持。从ElasticSearch读取的数据是以Storm里Tuple的形式进行操作处理。 依赖版本信息： org.apache.storm storm-core 1.0.1 org.apache.storm storm-starter 1.0.1 or
hadoop与storm的一点区别
社会化搜索与互联网广告精准推荐
03-06 1万+
本文由larrylgq编写，转载请注明出处：http://blog.youkuaiyun.com/larrylgq/article/details/7326058 作者:吕桂强 邮箱：larry.lv.word@gmail.com hadoop是实现了mapreduce的思想，将数据切片计算来处理大量的离线数据数据。hadoop处理的数据必须是已经存放在hdfs上或者类似hbase的数据库中
Hadoop系列之Storm安装和使用（五）
帆布鞋也能走猫步
12-27 781
zookeeper单机模式的安装使用 下载zookeeper地址：https://mirrors.cnnic.cn/apache/zookeeper/stable/ tar -zxf apache-zookeeper-3.5.6-bin.tar.gz #解压 mv apache-zookeeper-3.5.6-bin zookeeper #修改名称 chown -R hadoop zook...
JAVA大数据(一)简介-Hadoop环境配置，伪分布式模式架构学习用
m0_58818478的博客
01-11 684
1.课前资料 2.课程整体介绍 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mH0U4e1A-1641888708908)(day01_hadoop.assets/1628589606864.png)] 3.大数据介绍 什么是大数据？ 简单来说大数据就是海量数据及其处理。 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合， 是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产（资源）。
Hadoop系列-07 Hadoop YARN资源调度详解：架构原理与调度器实战全攻略
yangwei2048的博客
12-05 2722
YARN是Hadoop的资源调度系统，采用主从架构设计，由ResourceManager（主节点）和多个NodeManager（从节点）组成。ResourceManager负责全局资源管理和分配，包含调度器和应用程序管理器组件。NodeManager监控节点资源并管理Container的生命周期。Container是YARN的资源抽象单位，封装CPU、内存等资源。ApplicationMaster为应用程序申请资源并监控任务执行。此外，JobHistoryServer记录作业历史运行情况，需通过配置文件启用
hadoop 2.7.3 源码分析（一）：环境搭建
iblks
11-26 3027
序回头想想自己学习大数据相关的技术已经有很长的时间了，在这段时间里主要学习了hadoop、zookeeper、hbase、kafka、flume、spark、storm等等，有一些在工作当中使用到了(比如zookeeper、hadoop）就比较熟悉但大部分都是浅尝辄止没有做深入的研究学习。 hadoop作为时下流行的大数据处理框架，其使用范围广，开发社区活跃。在国内很多大型公司如京东、百度、阿里等
写给大数据开发初学者的话
热门推荐
02-20 3万+
转自http://lxw1234.com/archives/2016/11/779.htm 导读： 第一章：初识Hadoop 第二章：更高效的WordCount 第三章：把别处的数据搞到Hadoop上 第四章：把Hadoop上的数据搞到别处去 第五章：快一点吧，我的SQL 第六章：一夫多妻制 第七章：越来越多的分析任务 第八章：我的数据要实时 第九章
Hadoop和Storm的4点区别
arthur.dy.lee的专栏
06-14 1103
1) Storm与Hadoop的定义与架构有什么不同？Hadoop是一个可以对海量数据进行分布式处理的软件框架，是Apache的一个项目。Storm是一个能够实时处理流式的分布式计算系统，是Apache基金会的孵化的一个项目。2) 应用场景有什么不同？Hadoop是分布式批处理计算，主要是进行批处理，较多用其进行数据挖掘和分析。2) 应用场景有什么不同？Storm是分布式实时计算，主要特点是实时性，
Hadoop、storm和Spark的区别、比较
客人
07-03 1万+
一、hadoop、Storm该选哪一个？为了区别hadoop和Storm，该部分将回答如下问题：1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景，什么情况下使用hadoop4.什么是吞吐量首先整体认识：Hadoop是磁盘级计算，进行计算时，数据在磁盘上，需要读写磁盘；Storm是内存级计算，数据直接通过网络导入内存。读写内存比读写磁盘速度...
Hadoop、Storm、Spark这三个大数据平台有啥区别，各有啥应用场景？
弹指天下
02-18 2万+
Storm与Spark、Hadoop这三种框架，各有各的优点，每个框架都有自己的最佳应用场景。 所以，在不同的应用场景下，应该选择不同的框架。 Storm是最佳的流式计算框架，Storm由Java和Clojure写成，Storm的优点是全内存计算，所以它的定位是分布式实时计算系统，按照Storm作者的说法，Storm对于实时计算的意义类似于Hadoop对于批处理的意义。 Storm的适用
Storm的启动命令
y976181862的博客
04-08 1623
开启zookeeper集群 后台启动storm nohup storm nimbus & 启动ui：nohup storm ui & 启动supervisor： nohup storm supervisor & 浏览器输入：http:hadoop01:8080 查看网页 启动ZOOPKEEPER zkServer.sh start 启动NIMBUS storm n
新手都会遇到的问题 该学hadoop？还是spark?
大讲台
09-18 6211
问题： 毕业了，找的工作不是太满意。听师兄说大数据这方向不错，准备学大数据，但不知道应该学Hadoop还是Spark。 Hadoop的话我有些Java基础，估计相对容易一些。 但据说Spark是趋势，可惜如何学Spark又得学新的Scala语言，毕竟不是老手，丢掉java学这个估计周期太长，纠结。 求老司机指导！ -------------------------------
Storm学习笔记（一） 安装配置和启动
russle的专栏
05-06 1181
Storm学习笔记（一） 安装配置和启动 本文比较简单，主要介绍storm的安装，配置和启动命令，之后的系列会介绍如何简单示例，以及如何与kafka工作。 storm的安装 storm基本配置（非集群配置） storm启动命令 storm的安装 storm 安装单机版本比较简单，只需要JDK（至少是jdk7）和zookeeper即可。 我们下载了jdk-8u171-li...
大数据学习路径
寻寻觅觅的专栏
05-19 8423
1.Linux基础和分布式集群技术 学完此阶段可掌握的核心能力： 熟练使用Linux，熟练安装Linux上的软件，了解熟悉负载均衡、高可靠等集群相关概念，搭建互联网高并发、高可靠的服务架构； 学完此阶段可解决的现实问题： 搭建负载均衡、高可靠的服务器集群，可以增大网站的并发访问量，保证服务不间断地对外服务； 学完此阶段可拥有的市场价值： 具备初级程序员必要具备的Li
mobaxterm hadoop启动报错
最新发布
01-13
### MobaXterm环境下Hadoop启动报错解决方案 #### 修改配置文件路径 在MobaXterm环境中运行Hadoop时，确保所有配置文件的位置正确无误。对于Hadoop 2.x及以上版本，所有的配置文件均位于`hadoop-XX.XX/etc/hadoop`...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值