MiniCTO

最近项目打算做一个日志收集功能，打算用flume，在这里开一个系列博客，记录我在实战用flume如何使用官方下载flume，截止写这个博客时，官方最新1.7https://flume.apache.org下载到服务器，解压出来。接在在conf文件夹中创建flume.conf文件，在flume.conf中写入以下sample内容，内容来自官网，只是用来做测试使用，请勿 放到生产# example.c

错误内容如下[root@esslog-shqs-4 conf]# flume-ng agent --conf conf --conf-file flume.conf --name a1 -Dflume.root.logger=INFO,consoleInfo: Including Hive libraries found via () for Hive access+ exec /service

一、Commons BeanUtils 说明：针对Bean的一个工具集。由于Bean往往是有一堆get和set组成，所以BeanUtils也是在此基础上进行一些包装。二、Commons CLI 说明：这是一个处理命令的工具。比如main方法输入的string[]需要解析。你可以预先定义好参数的规则，然后就可以调用CLI来解析。三、Commons Codec 说明：这个工具是用来编码和解码的，包

flume是cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。在最近的项目上，需要统一收集日志，然后将日志发送到kafka，架构流程如下： 在每个srv中，通过log4j中flume appender，将日志输出到kafka

最近项目打算做一个日志收集功能，打算用flume，在这里开一个系列博客，记录我在实战用flume如何使用flume版本：官方1.7jdk版本：官方1.8操作系统：centos 7apache flume单机安装、运行常见问题启动缺少log4j

查看kafka下已经创建了哪些topicbash /service/storm/kafka_2.11-0.10.1.0/bin/kafka-topics.sh --list --zookeeper 10.99.70.51:2181,10.99.70.52:2181,10.99.70.53:2181/kafka在kafka集群中创建一个topic创建一个叫mytest的topic，副本数为1，分区数为

Kafka producer的ack有3中机制，初始化producer时的producerconfig可以通过配置request.required.acks不同的值来实现。0：这意味着生产者producer不等待来自broker同步完成的确认继续发送下一条（批）消息。此选项提供最低的延迟但最弱的耐久性保证（当服务器发生故障时某些数据会丢失，如leader已死，但producer并不知情，发出去的信