sowhat

Spark Streaming概述1. Spark Streaming是什么Spark Streaming用于流式数据的处理。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象原语如：map、reduce、join、window等进行运算。而结果也能保存在很多地方，如HDFS，数据库等。和Spark基于RDD的概念很相似，Spark Streaming使用离散化流(discret

第1章 Spark SQL概述什么是Spark SQLSpark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快！

Java IO回忆字节跟字符区别，InputStream、OutputStream、Writer、Reader 。字节流，分2种：a.输入b.输出2.字符流，也分2种：a.输入(读，即读取)b.输出(写，即写入)PS: 字节流是万能的，方便人类读写才出来的字符流。字符流就包装后的字节流。文件字节流读入InputStream in = new FIleInputStream("xxx")缓冲流, 体现了Java装饰者模式InputStream bufferIn = new

Hadoop体系回顾Hadoop 的概念可追溯到 2003，2004 Google2篇论文(老版三辆马车)，2011年发布1.0版本，2012年发布稳定版。Hadoop 在2.0版本之前组件主要是 HDFS跟MapReduce。1.0版本框架主要如下：职责：HDFS负责文件存储MapReduce负责资源调度跟计算缺点：mr基于数据集的计算，所以面向数据基本运算规则从存储介质中获取（采集）数据，然后进行计算，最后将结果存储到介质中，所以主要应用于一次性计算，不适合于数据挖掘和机器学

不错的link​ Spark GraphX是一个分布式图处理框架，Spark GraphX基于Spark平台提供对图计算和图挖掘简洁易用的而丰富多彩的接口，极大的方便了大家对分布式图处理的需求。Spark GraphX由于底层是基于Spark来处理的，所以天然就是一个分布式的图处理系统。图的分布式或者并行处理其实是把这张图拆分成很多的子图，然后我们分别对这些子图进行计...

Windows平台环境搭建 JDK 1.8-8u201 Scala 2.11.8 spark 2.2.0 hadoop 2.7.2 sbt 0.13.13.1 上面的几个软件之间相互有版本依赖关系的因此尽量要配套使用，链接：https://pan.baidu.com/s/1QEx-Q1jaRsO6-9tijw1Hdw 提取码：mnml...

第一阶段 环境篇Spark 修炼之道（进阶篇）——Spark 入门到精通：第一节 Spark 1.5.0 集群搭建【点击打开】Spark 修炼之道（进阶篇）——Spark 入门到精通：第二节 Hadoop、Spark 生成圈简介【点击打开】Spark 修炼之道（进阶篇）——Spark 入门到精通：第三节 Spark Intellij IDEA 开发环境搭建【点击打开】第二阶段 原理篇...