ytp552200ytp的博客

Flume1.8 抽取Mysql或Oracle数据转成JSON格式

大数据技术面试-Flume、kafka 1.Flume组成有哪些？2.Flume拦截器有哪些知识点？3.Flume采集数据会丢失吗?4.FileChannel如何优化？5.如何控制Kafka丢不丢数据？6.Kafka分区分配策略默认哪两种？ 4.4 Flume相关总结4.4.1 Flume组成，Put事务，Take事务1）Flume组成，Put事务，Take事务 Taildir Source：断点续传、多目录。Flume1...

问题导读： 1.Flume-NG与Scribe对比，Flume-NG的优势在什么地方？2.架构设计考虑需要考虑什么问题？3.Agent死机该如何解决？4.Collector死机是否会有影响？5.Flume-NG可靠性(reliability)方面做了哪些措施？ 美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集...

一、Flume基本概念 　　flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力。 　　flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Ev...