
idea异常
文章平均质量分 60
光圈1001
从事于金融反欺诈系统大数据研发工作
展开
-
spark在idea中编写第一个程序时常见异常
Using Spark’s default log4j profile: org/apache/spark/log4j-defaults.properties 18/09/12 10:18:05 INFO SparkContext: Running Spark version 1.6.3 18/09/12 10:18:07 ERROR SparkContext: Error initializ...原创 2018-09-12 14:26:56 · 4509 阅读 · 0 评论 -
spark使用包的异常
1.Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/spark/SparkConf 2.Exceptionin thread “main” java.lang.NoClassDefFoundError: org/apache/spark/streaming/StreamingContext 发现不是包的...原创 2018-09-17 16:18:52 · 228 阅读 · 0 评论 -
spark-streaming中经典算子:updateStateByKey的使用 --checkpoint
官方: updateStateByKey允许你在持续更新信息的过程中随意获取状态。想要使用这个输入流,你需要以下两步: 1 定义状态–状态可以是任意的数据类型 2 定义状态更新函数–指定一个如何更新状态的函数,该函数从输入流中获取前一个状态和新的值 遇到的一个异常: Exception in thread "main" java.lang.IllegalArgumentExcepti原创 2018-09-18 18:06:31 · 1823 阅读 · 0 评论 -
spark_sql编写常见异常
1.错误:找不到主类或者无法加载主类: 分析:没有语法错误,已经引入了依赖包,应该是ides配置问题 解决办法:关联scala的SDK 解决—- 2.错误:在创建scala之后,配置spark_sql时,在pom引入了spark-sql包,但是没有引入spark-core包,无法创建Spark-Conf Spark-Context,不能导入相应的包 原因:部分idea可能父项目或者sp...原创 2018-09-14 12:57:57 · 966 阅读 · 0 评论 -
idea 远程docker部署小坑记录
1.idea部署docker ,需要把打了包的文件,放在docker目录下,和dockerfile同级目录,否则会报异常: Error: ResponseItem.ErrorDetail[code=,message=No source files were specified] Failed to deploy ‘docker-server Dockerfile: spring-boot-oaut...原创 2019-09-20 11:38:03 · 8267 阅读 · 0 评论