
Spark
文章平均质量分 91
高寒竹林
这个作者很懒,什么都没留下…
展开
-
Linux搭建Kafka+Spark实时处理系统
服务器要求:jdk-8u121-linux-x64.tar.gz、kafka_2.12-0.10.2.1.tgz、spark-1.3.1-bin-hadoop2-without-hive.tgz 1、生产者—SpringMVC+Kafka 1.1、准备工作 所需资源:kafka_2.10-0.8.2.2.jar、kafka-clients-0.10.0.0.jar,把这两个jar包导入到项目原创 2017-05-27 15:41:49 · 2123 阅读 · 0 评论 -
搭建Hive On Spark
随着Hadoop的深入学习,渐渐用到了Hadoop相关的家族成员Hive、Spark、Sqoop等,其中Hive主要是为了使我们在进行大数据开发的时候更加快捷高效,而且又因为它的类SQL的特性使我们很容易上手;而Spark这个工具是极为高效的大数据的处理引擎,据说是可以达到Hadoop的MapReduce处理速度的几十倍,但是由于它不像Hive使用类SQL的语法,因此学习的成本要高很多,因此在Ha原创 2016-05-26 10:26:59 · 1008 阅读 · 0 评论