晓晓白熊的博客

一个Streaming应用程序要求7天24小时不间断运行，因此必须适应各种导致应用程序失败的场景。Spark Streaming的检查点具有容错机制，有足够的信息能够支持故障恢复。支持两种数据类型的检查点：元数据检查点和数据检查点。（1）元数据检查点，在类似HDFS的容错存储上，保存Streaming计算信息。这种检查点用来恢复运行Streaming应用程序失败的Driver进程。（2）数

Spark SQL and DataFrame、DataSet1. 课程目标1.1. 掌握Spark SQL的原理1.2. 掌握DataFrame数据结构和使用方式1.3. 熟练使用Spark SQL完成计算任务2. Spark SQL2.1. Spark SQL概述2.1.1. 什么是Spark SQLSpark SQL是Spark用来处理结构化数据的一个

1. 课程目标1.1. 掌握Spark Streaming的原理1.2. 熟练使用Spark Streaming完成流式计算任务2. Spark Streaming介绍2.1. Spark Streaming概述2.1.1. 什么是Spark Streaming Spark Streaming类似于Apache Storm，用于流式数据的处理。根据其官方文档介绍，Spa

1.Sqoop导入底层工作原理（1）在导入前，Sqoop使用JDBC来检查将要导入的数据表。（2）Sqoop检索出表中所有的列以及列的SQL数据类型。（3）把这些SQL类型的映射到java数据类型，例如（VARCHAR、INTEGER）———>（String，Integer）。（4）在MapReduce应用中将使用这些对应的java类型来保存字段的值。