leveretz的博客

原文地址：https://www.cnblogs.com/songanwei/p/9202803.html一、 误区澄清与概念明确1 Kafka的版本很多人在Kafka中国社区提问时的开头经常是这样的：“我使用的kafka版本是2.10/2.11, 现在碰到一个奇怪的问题。。。。” 无意冒犯，但这里的2.10/2.11不是kafka的版本，而是编译kafka的Scala版本。Kafka的server端代码是由Scala语言编写的，目前Scala主流的3个版本分别是2.10、2.11和2.12。实

1引言数据中台因业务需要将要引入开源框架kafka。本文主要内容为kafka接入数据中台的技术验证预案和实施建设预案。2验证预案2.1性能验证验证kafka的高吞吐率，主要验证producer和consumer的发送和消费吞吐率。使用kafka manager 监控。发送量测试测试环境设定：broker集群（3节点），topic（1个），partition（3节点*2），replication（3）。1、在borker不变的情况下，producer数量变化..

Flume 是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。Flume 的特点是可以通过手工配置，可以自动收集日志文件，在大数据处理及各种复杂的情况下，flume经常被用来作为数据处理的工具，Flume搜集日志的方式多种多样，比如可以检测文件夹的变化，可以监