Storm框架创建二级Bolt报错org.apache.storm.generated.InvalidTopologyException

最新推荐文章于 2022-07-23 23:34:42 发布

原创最新推荐文章于 2022-07-23 23:34:42 发布 · 5.6k 阅读

0 ·

CC 4.0 BY-SA版权

遇到的问题汇总专栏收录该内容

4 篇文章

订阅专栏

本文解析了一个关于Apache Storm中出现的InvalidTopologyException错误。通过具体的代码示例，详细阐述了如何正确配置一级bolt与二级bolt之间的数据传递流程，并强调了在declareOutputFields方法中正确声明字段的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

记录一下这个我遇到的这个问题：

topologyBuilder.setSpout("SumSpout", new SumSpout()); 
topologyBuilder.setBolt("bolt1",new PingCounter()).shuffleGrouping("SumSpout");
topologyBuilder.setBolt("bolt2", new PingCounter2()).shuffleGrouping("SumSpout");
topologyBuilder.setBolt("bolt1_1",new TickTask1()).shuffleGrouping("bolt1");

bolt1_1是一级bolt1的下级bolt，运行时报错org.apache.storm.generated.InvalidTopologyException，报错代码为这一行

StormTopology topology = topologyBuilder.createTopology();

原因：

一级bolt向二级bolt进行emited操作时

declareOutputFields(OutputFieldsDeclarer declarer)

方法中需要对Filed 进行描述

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Nemo____

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Storm的WordCount案例spout bolt详细总结实现接口IRich IBASE区别

春水初生，春林初盛，春风十里，不如随笔

08-15

1791

spout介绍一个spout是由流组成的数据源在storm的拓扑里，通常情况下会读取外部的数据源然后emit（发射）到拓扑里面，比如是kafka，MySQL或者redis等等，Spout有两种实现一种是可靠的消息实现，如果发送失败则会重试，另外一种是不可靠的消息实现可能会出现消息丢失，spout可以一次声明多个数据流通过OutputFieldsDeclarer类的declareStream...

Storm学习笔记（三）——Storm组件详解之Bolt、Topology

咕噜君的博客

07-02

1859

Bolt消息处理者 Bolt在Storm中是一个被动的角色，它把元组作为输入，然后产生新的元组作为输出。Bolt可以执行过滤、函数操作、合并、写数据库等操作（还可以简单地传递消息流，复杂的消息流往往需要很多步骤，因此需要很多Bolt来处理）。生命周期首先，客户端创建Bolt，然后将其序列化为拓扑，并提交给集群中的主机。之后，集群启动Worker进程，反序列化Bolt，调用prepare方法开始处理元组。接下来，Bolt处理Tuple，Bolt处理一个输入Tuple，发射0个或者多个Tupl

参与评论您还未登录，请先登录后发表或查看评论

【Error】Storm LocalCluster报错 type org.apache.storm.generated.InvalidTopologyException

think_ycx的专栏

11-26

556

错误log: 3530 [main] WARN o.a.s.d.nimbus - Topology submission exception. (topology name='Getting-Started-Topology') #error { :cause nil :via [{:type org.apache.storm.generated.InvalidTopologyException :message nil :at [org.apache.storm.daemon.co

org.apache.storm.generated.InvalidTopologyException: null 错误解析

张不帅

12-12

1384

主驱动程序中 TopologyBuilder builder = new TopologyBuilder(); builder.setSpout("WordCountSpout",new WordCountSpout(),1); builder.setBolt("WordCountSplitBolt",new WordCountSplitBolt(),2).sh...

Storm - Exception - backtype.storm.generated.InvalidTopologyExcept :null | 那伊抹微笑

妳那伊抹微笑的专栏

11-16

2279

标题 : Storm - Exception - backtype.storm.generated.InvalidTopologyExcept :null | 那伊抹微笑作者 : 那伊抹微笑时间 : 2015-11-13 17:33:21 版本 : storm-0.9.5 1 Caused by: java.lang.RuntimeException: Foun

backtype.storm.generated.InvalidTopologyException: null

weixin_30823001的博客

09-25

361

https://www.bbsmax.com/A/obzbN4nbzE/ 转载于:https://www.cnblogs.com/diyunpeng/p/11586917.html

Storm Topology提交错误

11-18

200

记录下Storm遇到的问题： org.apache.storm.generated.InvalidTopologyException: null 原因：topology定义有无，二级bolt中的fieldsGrouping的字段未在一级bolt中定义（或不对应）：解决方法： @O...

Storm中spout和bolt之间发送和接收数据的java源代码实例

最新发布

11-05

在Apache Storm分布式流处理框架中，Spout和Bolt是两个核心组件，它们协同工作以处理实时数据流。本篇文章将深入探讨Spout和Bolt之间的数据交互，并提供相关的Java源代码实例，帮助你理解这一过程。首先，让我们...

Storm消费Kafka提交集群运行

猫不夜行的博客

09-24

438

1.创建拓扑，配置KafkaSpout、Bolt KafkaTopologyBasic.java： package org.mort.storm.kafka; import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafka.clients.consumer.ConsumerRecord; ...

大数据实时计算框架：storm

cassiel5280的博客

07-23

2364

1.什么是实时计算？流式计算举例自来水厂处理水的过程（图）特点源源不断任务类型采集数据-->Spout任务处理数据-->bolt任务2.跟离线计算的区别(1)离线计算采集数据强调是批处理(2)实时计算storm采集数据flume强调是源源不断3.常见的实时计算框架(3)JStorm(4)Flink。...

backtype.storm.generated.InvalidTopologyException:null问题的解决

weixin_34245169的博客

06-02

193

程序启动报错：backtype.storm.generated.InvalidTopologyException:null 问题解决方法：这个错误一般都是没有定义输出列造成的检查Spout和Bolt代码中的declareOutputFields方法declare的Field定义字段数量等于collector.emit的字段数量数量，tuple是一个value的list，即是value....

backtype.storm.generated.InvalidTopologyException:null错误解析

BigData_Mining的博客

04-11

1473

Maven运行Storm项目时候报错：backtype.storm.generated.InvalidTopologyException:null我从网上查了查，大部分是说这个错误一般都是没有定义输出列造成的：1）检查Spout和Bolt代码中的declareOutputFields方法2）declare的Field数量等于 collector.emit数量我遇到的情况是在我的主程序里面，set...

Storm InvalidTopologyException: null

weixin_33881050的博客

06-24

122

异常信息： backtype.storm.generated.InvalidTopologyException: null at backtype.storm.daemon.common$validate_structure_BANG_.invoke(common.clj:151) ~[storm-core-0.9.0.1.jar:na] at backtype.stor...

storm报错：Exception in thread "main" java.lang.RuntimeException: InvalidTopologyException(msg:Componen...

weixin_30339969的博客

04-29

476

问题描述：　　storm版本：1.2.2，kafka版本：2.11。　　在使用storm去消费kafka中的数据时，发生了如下错误。 [root@node01 jars]# /opt/storm-1.2.2/bin/storm jar MyProject-1.0-SNAPSHOT-jar-with-dependencies.jar com.suhaha.storm.storm12...

初入Storm开发遇到的问题

IBean的博客

03-08

1373

Local模式一点运行马上报这个错 java.lang.NoClassDefFoundError: org/apache/storm/generated/AlreadyAliveException at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMetho...

在线实时大数据平台Storm输入源共享试验

医疗影像检索

08-09

4325

1、背景：topology程序提交集群模式运行试验，验证在同一文件输入源情况下，worker之间是否会重复输入处理，以及数据变量能否在不同worker之间共享，如果文件新增数据，topology会不会获取最新数据处理。 2、试验代码： package cn.wc; import org.apache.storm.Config; import org.apache.storm.StormSub

在线实时大数据平台Storm并行度试验

医疗影像检索

08-10

4245

集群模式试验：同一文件输入数据如何处理，数据变量共享 1）集群模式一个worker内一个spout一个Bolt jps:1个worker storm list:1个wokers，4个tasks 2）集群模式一个worker内一个spout 两个Bolt jps:1个worker storm list:1个wokers，6个tasks 不同bolt线程之间对变量counter是互斥读写