CoderBoom的博客

typora-copy-images-to: img_spark04typora-root-url: img_spark04spark_入门04学习笔记1、目标1、掌握sparkStreaming原理和架构2、掌握DStream常用的操作3、掌握sparkStreaming整合flume4、掌握sparkStreaming整合kafka (★★★★★)2、sparkStrea...

Kafka为什么那么快Broker​ 不同于Redis和MemcacheQ等内存消息队列，Kafka的设计是把所有的Message都要写入速度低容量大的硬盘，以此来换取更强的存储能力。实际上，Kafka使用硬盘并没有带来过多的性能损失，“规规矩矩”的抄了一条“近道”。​ 首先，说“规规矩矩”是因为Kafka在磁盘上只做Sequence I/O，由于消息系统读写的特殊性，这并不存在什么问题。关...

kafka的文件存储机制1、概述同一个topic下有多个不同的partition，每个partition为一个目录，partition命名的规则是topic的名称加上一个序号，序号从0开始。每一个partition目录下的文件被平均切割成大小相等（默认一个文件是1G，可以手动去设置）的数据文件，每一个数据文件都被称为一个段（segment file），但每个段消息数量不一定相等，这种...

kafka Manager监控工具的安装与使用第一步:上传kafkaManager的压缩包将我们kafkaManager的压缩包上传到我们kafka集群的任意一台机器即可第二步:修改kafkaManager的配置文件vim application.conf更改一配置文件 kafka-manager.zkhosts,修改为我们的zookeeper的地址即可kafka-manager....

storm_day01学习笔记1、目标1、熟悉storm的相关概念2、掌握搭建一个storm集群3、掌握编写简单的storm应用程序4、掌握storm的并行度设置5、掌握storm的数据分发策略6、掌握storm与kafka整合2、storm概述2.1 storm是什么storm是由twitter公司开源，捐献apache基金会，是一个实时处理框架。storm特点：来一条...

kafka入门学习笔记1、目标1、掌握kafka相关概念2、掌握搭建一个kafka集群3、掌握kafka生产者和消费者代码开发4、掌握kafka的分区策略5、掌握kafka整合flume6、掌握kafka如何保证消息不丢失2、kafka概述2.1 kafka是什么kafka是由linkedin开源，捐献apache基金会，它是一个实时的分布式消息队列。它提供了一个对于实时...