CoderBoom的博客

spark_入门03学习笔记1、目标1、掌握sparksql底层原理2、掌握DataFrame和DataSet数据结构和使用方式3、掌握通过sparksql来进行代码开发2、sparksql概述2.1 sparksql前世今生shark它是专门为spark设计的大规模数据仓库系统shark依赖于hive的代码，同时也依赖spark版本后期发现hive的mapre...

spark02_学习笔记1、目标1、掌握RDD的底层原理2、掌握RDD的常用的算子操作3、掌握RDD的宽窄依赖4、掌握RDD的缓存机制5、掌握划分stage6、掌握spark任务运行架构和调度流程2、RDD概述2.1 什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区...

kafka Manager监控工具的安装与使用第一步:上传kafkaManager的压缩包将我们kafkaManager的压缩包上传到我们kafka集群的任意一台机器即可第二步:修改kafkaManager的配置文件vim application.conf更改一配置文件 kafka-manager.zkhosts,修改为我们的zookeeper的地址即可kafka-manager....

kafka的文件存储机制1、概述同一个topic下有多个不同的partition，每个partition为一个目录，partition命名的规则是topic的名称加上一个序号，序号从0开始。每一个partition目录下的文件被平均切割成大小相等（默认一个文件是1G，可以手动去设置）的数据文件，每一个数据文件都被称为一个段（segment file），但每个段消息数量不一定相等，这种...

Kafka为什么那么快Broker​ 不同于Redis和MemcacheQ等内存消息队列，Kafka的设计是把所有的Message都要写入速度低容量大的硬盘，以此来换取更强的存储能力。实际上，Kafka使用硬盘并没有带来过多的性能损失，“规规矩矩”的抄了一条“近道”。​ 首先，说“规规矩矩”是因为Kafka在磁盘上只做Sequence I/O，由于消息系统读写的特殊性，这并不存在什么问题。关...

typora-copy-images-to: img_spark04typora-root-url: img_spark04spark_入门04学习笔记1、目标1、掌握sparkStreaming原理和架构2、掌握DStream常用的操作3、掌握sparkStreaming整合flume4、掌握sparkStreaming整合kafka (★★★★★)2、sparkStrea...

spark_01学习笔记1、目标1、掌握spark相关概念2、掌握搭建一个spark集群3、掌握编写简单的spark应用程序2、spark概述2.1 什么是sparkApache Spark™ is a unified analytics engine for large-scale data processing.apache的spark是一个针对于大规模...

Spark on Yarn1. 官方文档http://spark.apache.org/docs/latest/running-on-yarn.html2. 配置安装1.安装hadoop：需要安装HDFS模块和YARN模块，HDFS必须安装，spark运行时要把jar包存放到HDFS上。2.安装Spark：解压Spark安装程序到一台服务器上，修改spark-env.sh配置文件，spa...

1. RDD操作详解启动spark-shellspark-shell --master spark://node-1:70771.1 基本转换1) map​ map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。 任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。举例：scala> val a = sc.parallelize(1 to 9, 3)...

kafka入门学习笔记1、目标1、掌握kafka相关概念2、掌握搭建一个kafka集群3、掌握kafka生产者和消费者代码开发4、掌握kafka的分区策略5、掌握kafka整合flume6、掌握kafka如何保证消息不丢失2、kafka概述2.1 kafka是什么kafka是由linkedin开源，捐献apache基金会，它是一个实时的分布式消息队列。它提供了一个对于实时...