storm工程在本地运行可以通过，发送到集群中就报错

最新推荐文章于 2025-01-05 16:17:53 发布

weixin_33859844

最新推荐文章于 2025-01-05 16:17:53 发布

阅读量163

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：https://my.oschina.net/cmc/blog/113667

在探讨storm工程本地运行与集群部署时遇到的java.io.NotSerializableException错误，涉及storm-0.9.0-wip7版本的使用经验分享。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

为什么80%的码农都做不了架构师？>>>

storm工程在本地运行可以通过，发送到集群中就报错：

java.io.NotSerializableException: backtype.storm.spout.SchemeAsMultiScheme

我使用的是storm-0.9.0-wip7的版本，不知道是不是这个原因

错误情况：

转载于:https://my.oschina.net/cmc/blog/113667

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_33859844

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

用ApacheZeppelin进行基于SQL的数据查询和分析

AI天才研究院

07-19

3242

作者：禅与计算机程序设计艺术 Apache Zeppelin 是一款开源的、基于 Web 的交互式数据分析平台。其提供基于 SQL 的查询语言、可视化图表展示功能、SQL 代码自动补全、多种编程语言支持、数据导入导出功能等。Zeppelin 支持大数据处理、机器学习、流计算、金融数据分析等场景，可用于企业内部系统的快速开发与部署，也适合作

大数据个人笔记——Zookeeper、Hadoop、flume、hive、sqoop、hbase、kafka、storm、spark的安装及使用

Winyar的博客

12-31

1619

大数据笔记 Zookeeper的安装及使用安装步骤如下： [root@localhost ~]# cd /home/software [root@localhost software]# tar -xvf zookeeper-3.4.10.tar.gz [root@localhost software]# cd zookeeper-3.4.10 [root@localhost zookeepe...

参与评论您还未登录，请先登录后发表或查看评论

storm实例，可以直接运行

06-25

storm实例，可以直接运行命令在里面cmd.txt 修改好words111.txt路径就可以直接运行，前提是你storm集群没有问题

storm本地可以运行集群出错遇到的问题

weixin_33692284的博客

06-29

146

storm本地运行和集群运行是存在区别的：本地可以读取本地文件系统及java项目中的文件，但是提交集群后就不能读取了，storm只是将topology提交到了集群，所以只能在main方法中将需要读取的配置在提交topology之前读出来，然后再解析，而不是在spout和bolt中读取配置文件；同理，外部jar包也不会提交到集群，会有ClassNotFound异常，解决办法是将依赖包全部...

7.storm集群作业提交和打包

kang123488的博客

03-10

1590

一、将eclipse中的工程，进行打包丢到服务器（1）.在maven工程pom.xml中加入（在服务器storm集群运行） <scope>provided</scope> 即 <dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-c...

storm提交集群报错及处理

csdn9874123的博客

11-22

980

if (args != null && args.length > 0) { conf.setNumWorkers(3); StormSubmitter.submitTopologyWithProgressBar(args[0], conf, builder.createTopology()); }

Storm集群执行Topology,JVM无法获取System的Property

Sail__的专栏

05-27

609

现象在Storm中需要用HikariCP处理Mysql的数据交互,配置文件放在了src\main\resources\下面在拓扑启动前，把配置文件中的属性全部取出来，放到JVM中去，这样直接使用System.getProperty就可以拿到，不用写一些全局常量一些工具类。 public static void initRemote() { String fi...

【Storm】DRPC精解和案例分析

晚风中的自由

09-01

832

一、DRPC简介和工作流程 1、DRPC 简介分布式RPC( distributed RPC,DRPC) 用于对storm上大量的函数调用进行并行计算。对于每一次函数调用，storm集群上运行的拓扑接收调用函数的参数信息作为输入流，并将计算结果作为输出流发射出去。一句话概括：storm进行计算，根据客户端提交的请求参数，而返回storm计算的结果。 DRPC通过DRPC Server...

Twitter Storm安装配置（单机版）笔记

01-05

3762

本文聚焦 Java 大数据文本分析与 NLP，详述文本采集、挖掘，机器翻译、智能对话，结合金融、旅游案例剖析语义、安全挑战及应对，为文本技术应用添翼。

storm作业提交到storm集群时，应该注意的地方

weixin_38205301的博客

04-19

296

本地编写storm作业代码时用的storm-core依赖要和集群上依赖一致，否则会报版本错误。 <?xml version="1.0" encoding="UTF-8"?> 4.0.0 <groupId>com.jun.storm</groupId> <artifactId>stormCount</artifactId> <ver...

kafka和storm集群的环境安装

weixin_34067049的博客

01-26

224

前言 storm和kafka集群安装是没有必然联系的，我将这两个写在一起，是因为他们都是由zookeeper进行管理的，也都依赖于JDK的环境，为了不重复再写一遍配置，所以我将这两个写在一起。若只需一个，只需挑选自己选择的阅读即可。这两者的依赖如下: Storm集群：JDK1.8 , Zookeeper3.4，Storm1.1.1； Kafa集群 : JDK1.8 ，Zookeeper3.4 ...

Windows下基于eclipse的Storm应用开发与调试

weixin_30469895的博客

09-14

173

原创文章，转载请注明：转载自http://www.cnblogs.com/tovin/p/3971113.html 本文以一个简单的example来讲解如何开发storm应用程序 1、创建maven工程　　在eclipse下创建maven工程，可以参照http://www.cnblogs.com/tovin/p/3822985.html 　　 2、修改pom.xm添加依...

storm job 提交集群测试注意事项

weixin_34221073的博客

12-30

149

2019独角兽企业重金招聘Python工程师标准>>> ...

Eclipse+kafka集群实例源码

weixin_33885253的博客

11-27

139

首先调试zookeeper与kafka正常配置，并达到集群功能，这个是前提条件。建立Java工程，拷贝kafka的lib文件到工程目录下。 Lib下有些asc文件，一定要去除，否则java编译错误提示poll方法错误，最后找到原因为本机安装了jre7和jre8，默认加载jre7类包，改为jre8包后，系统调试通过。 listeners必须要配置成Ip地址的形式例如： listen...

如何在eclipse调试storm程序

weixin_33994429的博客

05-13

146

一、介绍 storm提供了两种运行模式：本地模式和分布式模式。本地模式针对开发调试storm topologies非常有用。 Storm has two modes of operation: local mode and distributed mode. In local mode, Storm executes compl...

Storm 系列（六）—— Storm项目三种打包方式对比分析

黑白影的博客

06-07

2546

一、简介在将Storm Topology提交到服务器集群运行时，需要先将项目进行打包。本文主要对比分析各种打包方式，并将打包过程中需要注意的事项进行说明。主要打包方式有以下三种：第一种：不加任何插件，直接使用mvn package打包；第二种：使用maven-assembly-plugin插件进行打包；第三种：使用maven-shade-plugin进行打包。以下分别进行详细的说明。...

kafka与storm集成测试问题小结

learn_tech的博客

09-12

404

转载地址：https://blog.youkuaiyun.com/shj1119/article/details/48826619 1 拷贝kafka依赖jar包到storm lib [root@hdmaster libs]# cp kafka_2.10-0.8.2.1.jar /opt/apache-storm-0.9.5/lib/ [root@hdmaster libs]# cp scala-libra...