cjlion的专栏

1、打包 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>${spark.version}</version> <!

这个问题通过网上找的下面的两个地方改正后依然不行。 还得改一个地方：     这个问题我遇到的时候很头疼，知道问题在那里，很多百度说改tomcat，他们说的不错，或许有那部分原因，可惜我的那个很久之前就改好。 其实就两个地方要改正：       如果打包还不行就直接用打包命令吧： mvn package -DskipTests...

  转载自https://github.com/linbojin/spark-notes/blob/master/ide-setup.md 搭建Spark源码研读和代码调试的开发环境 工欲善其事，必先利其器，第一篇笔记介绍如何搭建源码研读和代码调试的开发环境。 一些必要的开发工具，请自行提前安装： scala 2.11.8 sbt 0.13.12 maven 3.3.9 git 2....

由于spark2.3需要jdk1.8的支持，因此spark-submit与spark-sql需要指定jdk版本，具体方式见测试用例 1.修改个人用户配置文件.bashrc ，注释以前的spark环境与java环境，添加 vi ~/.bashrc #export SPARK_HOME=/opt/core/spark-1.6.3-bin-hadoop2.6 #export JAV...

SparkStreaming消费kafka数据 兴趣e族关注0人评论40人阅读2018-10-31 17:05:04 概要：本例子为SparkStreaming消费kafka消息的例子，实现的功能是将数据实时的进行抽取、过滤、转换，然后存储到HDFS中。 实例代码 package com.fwmagic.test import com.alibaba.fastjson.{JSON,...