
spark
早上的阳光
拥有多年软件开发经验,两个国家级管理证书,一个国际管理认证证书,一直奋斗在一线的IT民工。
展开
-
Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest m
Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes解决办法:zip -d spark_scala_demo.jar META-INF/*.RSA META-INF/*.DSA META-INF/*.SF原创 2018-01-03 14:02:37 · 16485 阅读 · 3 评论 -
模拟spark中streaming的JavaKafkaWordCount案列
一、首先找到spark-1.6.1-bin-hadoop2.6.tgz 的JavaKafkaWordCount 位置具体在spark-1.6.1-bin-hadoop2.6\examples\src\main\java\org\apache\spark\examples\streaming\JavaKafkaWordCount打开可以看到/* * Licensed to the Apach...原创 2018-03-23 10:40:09 · 679 阅读 · 0 评论 -
Spark理论分析
Spark简介什么是Spark?Spark 是基于内存计算的通用大规模数据处理框架Spark已经融入了Hadoop生态系统,可支持的作业类型和应用场景比MapReduce更为广泛,并且具备了MapReduce所有的高容错性和高伸缩性特点。为什么会诞生Spark并不是所有的问题都可以简单的分解成Map和Reduce两步模型处理Mapreduce 缺点延迟高: 不适合交...原创 2019-03-31 22:37:20 · 229 阅读 · 0 评论