storm面试题

最新推荐文章于 2020-10-19 09:21:00 发布
最新推荐文章于 2020-10-19 09:21:00 发布
阅读量2.5k 收藏 6
点赞数
分类专栏： storm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/elpsyco/article/details/102711171
版权

  • 提高并发度

    • 工作进程的数量 topology.workers : 1
    • 执行器的数量
    • 任务的数量

  • 当Nimbus或Supervisor守护进程死亡时会发生什么？
    Nimbus或supervisor的死亡不会影响worker流程，遇到任何意外情况时进程自毁，所有状态保存在Zookeeper或磁盘上

  • Nimbus是单点故障吗？
    如果丢失了Nimbus节点，worker仍将继续运行.如果worker死掉，nimbus将继续重新worker。但是，如果没有Nimbus，worker将不会在必要时重新分配给其他计算机

  • Storm如何保证数据处理？

    • Storm提供了保证数据处理的机制
    • worker死了，nimbus可以启动worker.如果它在启动时连续失败并且无法接受Nimbus的心跳，Nimbus将重新安排worker
    • 节点死了，分配给该计算机的任务将超时，Nimbus会将这些任务重新分配给其他计算机

  • storm的可靠性如何实现，包括spout和bolt两部分？

    • spout端 ：
      • ack机制与fail机制
      • 对于tuple树上的每个bolt进行确认应答，spout才会调用ack来表明这个消息被完全处理，如果任何一个bolt处理的tuple报错。调用ack.
    • bolt端：
      • ack机制与fail机制

  • storm分组策略方式？

    • Shuffle Grouping: 随机分组，轮询，平均分配
    • Fields Grouping：按字段分组
    • All Grouping：广播发送
    • Global Grouping：全局分组
    • Non Grouping：不分组
    • Direct Grouping：直接分组
    • Local or shuffle grouping
    • 自定义分组
大厂Storm的100道面试题及参考答案（5万字长文）
大模型大数据攻城狮的专栏
04-28 211
目录 什么是Storm？ Storm的设计目标是什么？ 解释一下Storm的“流处理”概念。 Storm与Hadoop MapReduce有什么区别？ 描述一下Storm的集群架构。 Nimbus和Supervisor在Storm中扮演什么角色？ Worker和Task在Storm中分别是什么？ 什么是Topology？ 什么是Stream Grouping？ Storm中的acker机制是什么？ 什么是Trident？它与Storm有什么区别？ 如何在Storm中实现“至少一次”语
大数据面试之Storm
小谷的博客
06-14 606
大数据面试之Storm1.Storm1.1 Spark Streaming和Storm有什么不同？1.2 Storm 架构模式 说明，感谢亮哥长期对我的帮助，此处多篇文章均为亮哥带我整理。以及参考诸多博主的文章。如果侵权，请及时指出，我会立马停止该行为；如有不足之处，还请大佬不吝指教，以期共同进步。 1.Storm Apache Storm是自由开源的分布式实时计算系统，擅长处理海量数据，适用于数据实时处理而非批处理。 Apache Storm核心概念 - Nimbus：Storm集群主节点，负责资源分配和
027 storm面试小题
weixin_30951231的博客
03-13 303
1.大纲 　　Storm工作原理是什么？ 　　流的模式是什么？默认是什么？ 　　对于mapreduce如何理解？ 　　Storm的特点和特性是什么？ 　　Storm组件有哪些？ 2.Storm工作原理是什么？ 　　相对于hadoop而言，strom的优势在于对于应对大数据两的实时数据处理上，因为hadoop在处理大数据过程中高延时的特点使得其面对实时数据缺乏足够的应对策略，目前...
storm--基础面试题2
u010160949的博客
08-13 3513
1.提高storm并发度？ 并行度就是多线程，主要是调整三个实体 1.worker进程 2.exectors（线程） 3.Task（线程) 在worker下可以可以采用多线程的方式运行程序。task是运行在exector里面的 worker运行在从节点里面,从节点可以启动多个worker。灰色的是exectors.一个work下多个exector。exector下可以运行一个task也可以运行两...
Storm知识点以及面试
cuichunchi的博客
06-09 538
PV（Page View）访问量, 即页面浏览量或点击量，衡量网站用户访问的网页数量；在一定统计周期内用户每打开或刷新一个页面就记录1次，多次打开或刷新同一页面则浏览量累计。 UV（Unique Visitor）独立访客 统计1天内访问某站点的用户数(以cookie为依据);访问网站的一台电脑客户端为一个访客。可以理解成访问某网站的电脑的数量。网站判断来访电脑的身份是通过来访电脑的cookies实现的。 如果更换了IP后但不清除cookies，再访问相同网站，该网站的统计中U...
大数据面试题集锦(五)
Zonzereal的博客
06-19 6411
1、简答说一下hadoop的map-reduce编程模型首先map task会从本地文件系统读取数据，转换成key-value形式的键值对集合使用的是hadoop内置的数据类型，比如longwritable、text等将键值对集合输入mapper进行业务处理过程，将其转换成需要的key-value在输出之后会进行一个partition分区操作，默认使用的是hashpartitioner，可以通过重...
大数据面试题分类记录.rar
06-24
在大数据领域，面试题往往涵盖了广泛的知识点，包括但不限于数据处理、存储系统、计算框架、分布式理论、机器学习以及实际项目经验。以下是对"大数据面试题分类记录"中可能涉及的一些核心知识点的详细说明： 1. **...
Hadoop面试题（四）——YARN
01-07
  2）Yarn上可以运行各种类型的分布式运算程序（mapreduce只是其中的一种），比如mapreduce、storm程序，spark程序…… 3、HDFS的数据压缩算法?（☆☆☆☆☆）   Hadoop中常用的压缩算法有bzip2、gzip、lzo、...
2024年java面试题-Kafka面试题
04-22
- **实时数据分析**：Kafka与Apache Storm和Apache Spark等工具紧密集成，能够支持实时流式数据分析，为企业提供即时洞察。 #### 三、Kafka架构基础 **Zookeeper集成**：Kafka依赖于Zookeeper进行集群管理和配置...
storm常见问题解答
victory0508的专栏
03-25 603
http://www.blogjava.net/killme2008/archive/2011/12/19/366763.html 最近有朋友给我邮件问一些storm的问题，集中解答在这里。 一、我有一个数据文件，或者我有一个系统里面有数据，怎么导入storm做计算？ 你需要实现一个Spout，Spout负责将数据emit到storm系统里，交给bolts计算。怎么实现spout
Storm练习
hsiehchou的博客
06-01 359
Storm练习 一、需求 需求：统计网站访问量(实时统计) 技术选型：特点（数据量大、做计算、实时） 实时计算框架：storm 1）spout 数据源，接入数据 本地文件 2）bolt 业务逻辑处理 切分数据 查到网址 3）bolt 累加次数求和 二、代码编写 PvCountSpout.java package com.hsiehch...
附6、Storm面试题目答疑 ---一般有用
okbin1991的博客
10-19 123
问题： 1，kafka+storm如何保证消息完整处理。 一条消息产生----Kafka--KafkaSpout-Storm--->Redis 问题1：kafka数据生产消费如何保证消息的完整处理 Producer-batch(缓存机制queue)--重试机制---->ack(-1,1,0)---Broker(partition leader/slave)------&g...
Hadoop 面试题之storm （3）
qiezikuaichuan的专栏
06-20 8865
Hadoop 面试题之八   355.metaq 消息队列 zookeeper 集群 storm集群(包括 zeromq,jzmq,和 storm 本身)就可以完成对商城推荐系统功能吗？还有其他的中间件？ 356.storm怎么完成对单词的计数？（个人看完storm 后一直都认为他是流处理，好像没有积攒数据的能力，都是处理完之后直接分发给下一个组件） 357.storm 其他的一些面试经常
[大数据面试题]storm核心知识点
kwame211的博客
07-29 1123
1.storm基本架构 storm的主从分别为Nimbus、Supervisor,工作进程为Worker. 2.计算模型 Storm的计算模型分为Spout和Bolt，Spout作为管口、Bolt作为中间节点，数据传输的单元为tuple,每个tuple都有一个值列表， 需要注意这个值列表是带name列表的，Bolt只需要订阅Bolt/Spout的值列表的某些name,就能...
附6、Storm面试题目答疑 ---有用
okbin1991的博客
10-18 116
问题： 1，kafka+storm如何保证消息完整处理。 一条消息产生----Kafka--KafkaSpout-Storm--->Redis 问题1：kafka数据生产消费如何保证消息的完整处理 Producer-batch(缓存机制queue)--重试机制---->ack(-1,1,0)---Broker(partition leader/slave)------&g...
storm
热门推荐
bingoabin
01-16 17万+
应用场景 1.信息流处理 Storm可用来实时处理新数据和更新数据库，兼具容错性和可扩展性。即 Storm可以用来处理源源不断流进来的消息，处理之后将结果写入到某个存储中去。2.连续计算 Storm可进行连续查询并把结果即时反馈给客户端。比如把 Twitter 上的热门话题发送到浏览器中。3.分布式远程调用 Storm 可用来并行处理密集查询。Storm 的拓扑结构是一个等待调用信息的分布函数，当它
Storm实战常见问题及解决方案
xiaolang85的专栏
08-11 6万+
该文档为实实在在的原创文档，转载请注明: http://blog.sina.com.cn/s/blog_8c243ea30101k0k1.html 类型 详细 备注 该文档是群里几个朋友在storm实战中遇到的一些问题，及其对应解决办法。     相关描述 ²  其他相关文档请参考新浪博客http://blo
【大数据】Storm问答精华
小哲的博客
08-01 316
Storm问答精华 Storm是Twitter开源的分布式实时大数据处理框架，被业界称为实时版Hadoop。随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统等， 大数据实时处理解决方案的应用日趋广泛，目前已是分布式技术领域最新爆发点，而Storm更是流计算技术中的佼佼者和主流。 Q：Storm原理及核心概念 A：分布式的实时计算系...
jstorm 问题
CottonDuke的博客
12-26 881
1 运行topology时提示work数量不够。或者没有活着的supervisor,Failed to make assignment xxxx, due to no alive supervisor   但是从集群运行正常，启动supervisor的时候也没有报错。 分析：查看后发现master和supervisor的系统时间不一样,supervisor所在机器的时间比nimbus所在机器的
storm的常见面试题
最新发布
01-03
### Storm 常见面试题及其解答 #### 1. Storm 是什么类型的处理框架？ Storm是一个分布式实时计算系统，专为高吞吐量的在线处理而设计[^1]。它能够可靠地处理无限的数据流，在数据到达时立即进行分析和响应。 #### 2. 如何理解拓扑结构（Topology）的概念？ 在Storm中，Topology表示的是由Spout(源头) 和Bolt(处理器节点)组成的网络图，用于定义如何接收输入源并执行一系列操作来转换这些事件流最终得到所需的结果。 #### 3. Spout 和 Bolt 的区别是什么？ - **Spout**: 负责读取外部数据源并将它们作为元组(tuple)形式发送到topology中的其他组件；可以看作是消息队列消费者。 - **Bolt**: 接收来自spouts或其他bolts发出的消息, 进行加工处理后再转发给下游组件或存储起来; 类似于业务逻辑层。 #### 4. Storm 中的任务调度机制是如何工作的？ 当提交一个新的 topology 到集群上运行时,Nimbus (master node)会负责分配资源以及协调工作进程之间的通信。Supervisor nodes则监听nimbus指令启动worker processes 来实际承载各个 spout/bolt 实例的工作负载。每个 worker process 可能包含多个线程(thread)，每条线程对应着特定 task id 执行具体的 bolt 或者 spout 功能。 #### 5. 解释一下 Acking Mechanism （确认机制） 为了保证至少一次交付语义(storm默认), 当一个 tuple 成功被所有订阅它的 bolts 完成处理后, 需要向原始发射此tuple的那个 spout 发送ack信号表明该记录已被完全消费完毕。如果中途失败，则会触发 fail 方法通知上游重试直到成功为止。 ```java // 示例代码展示如何实现自定义Ack机制 public class MyCustomSpout extends BaseRichSpout { private static final long serialVersionUID = 1L; @Override public void nextTuple() { // Emit a new message with an associated MessageId for tracking purposes. collector.emit(new Values("test"), UUID.randomUUID().toString()); // Simulate some delay before emitting the next tuple. Utils.sleep(10); } @Override public void ack(Object msgId) { System.out.println("Message " + msgId + " has been successfully processed."); } } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值