Oak_Komorebi的博客

一、Kafka和Flume的整合1.1 部署实施Flume主要是做日志数据（离线或实时）的采集。下图显示的是flume采集完毕数据之后，进行的离线处理和实时处理两条业务线，本文将介绍flume和kafka的整合处理。创建整合的topic# kafka-topics.sh --create \--topic flume-kafka \--zookeeper bigdata01:2181/kafka \--partitions 3 \--replication-factor 3.

一、Kafka的topic操作1.1 kafka的topic的操作topic是kafka非常重要的核心概念，用来存储各种类型的数据，所以最基本的就需要学会如何在kafka中创建、 修改、删除的topic，以及如何向topic生产消费数据。关于topic的操作脚本：kafka-topics.sh1. 创建topic[root@bigdata01 bin]# kafka-topics.sh --create \> --topic oak \ ## 指定要创建的topic的名称&g

1.1 消息队列为什么要使用消息队列？消息 Message 网络中的两台计算机或者两个通讯设备之间传递的数据。例如说：⽂本、⾳乐、视频等内容。 队列 Queue ⼀种特殊的线性表（数据元素⾸尾相接），特殊之处在于只允许在⾸部删除元素和在尾部追加元素(FIFO)。⼊队、出队 消息队列 MQ 消息+队列，保存消息的队列。消息的传输过程中的容器；主要提供⽣产、消费接⼝供外部调⽤做数据的存储和获取。1.2 消息队列的分类MQ主要分为两类...