- 博客(5)
- 收藏
- 关注
RSS订阅原创 Spark Stream 消费 Kafka 踩坑
在有网络并发基础和大数据框架算法基础情况下，算法和理解源码并不是最耗时的（大概），因为如果首次自己搭建火花在卡夫卡消费应用框架，并且缺乏可执行演示情况下，总会莫名其妙出现一些奇怪问题。 很容易可以写出一个SparkStreaming消费卡夫卡的简单的java的的样例，但奇怪的是本地调试集群总是通不过， 检查发现程序莫名被停止，但控制台在决定停止之前并没有抛出异常 查看Spark Web ...
2018-12-19 23:35:37
1670
原创 NoSuchMethodError: com.fasterxml.jackson.module.scala.deser.BigDecimalDeserializer$.handledType()
Spark Java 本地运行时总是会在parallelize()方法的时候爆出异常： Exception in thread "main" java.lang.NoSuchMethodError: com.fasterxml.jackson.module.scala.deser.BigDecimalDeserializer$.handledType()Ljava/lang/Class; a...
2018-10-13 14:34:44
3108
2
原创 Windows Eclipse Spark源码maven导入小记
Spark 学习需要，为了了解Spark原理在windows端的eclipse导入Spark来看。 Spark 环境和环境变量已经搭好，同时，也必须安装和配置GIT环境变量，亲测通过Maven导入spark源码是可行的，虽然期间有各种错误，而且尝试IDEA也是一样的问题，很多错误其实很好找原因，前提是不要过度依赖谷歌。（比如Could not calculate build plan: Plug...
2018-09-24 00:09:09
841
原创 SemanticException [Error 10295]: INSERT OVERWRITE not allowed on table with OutputFormat that implem
在数据梳理的时候，通过hive创建了一个外部表，但是在插入表的时候使用了INSERT OVERWRITE TABLE Table SELECT,于是报了SemanticException [Error 10295]: INSERT OVERWRITE not allowed on table with OutputFormat that implements AcidOutputFormat w...
2018-08-13 14:29:24
2972
原创 quorum.QuorumCnxManager: Connection broken for id 1, my id = 2, error = java.net.SocketException:
在研究hbase，所以暂时使用的HBase自带的zookeeper + 伪分布式，在一次网络问题导致IP更改后，出现了不能create table 的错误，于是看log发现启动hbase时出现如下error: quorum.QuorumCnxManager: Connection broken for id 1, my id = 2, error = java.net.SocketExcepti...
2018-07-28 21:06:40
5356
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人