daliucheng的博客

关于flume 的介绍 我是围绕三个方面来说的是什么去哪下怎么玩1. flume是什么Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。flume可以聚合大量日志数据并将其从许多不同的源移动到集中式数据存储中，并且，不仅限于日志数据聚合。由于数据源是可定制的，因此Flume可用于传输大量事件数据，包括但不限于网络流量数据，社交媒体生成的数据，电子邮件消息以及几乎所有可能的数据源。flume就好比一个水泵，网上产

文章目录1：etl介绍ETL 定义2: 步骤数据抽取数据清洗与转换数据加载3:拉链表常规拉链算法追加算法Upsert算法全删全加算法全量带删除算法性能图片化的对比1：etl介绍ETL 定义etl 是数据抽取（extract），转换（transform），清洗（cleaning），装在（load）这个动作是在数据迁移的时候发生的，数据从源数据库中传输到数据仓库中的过程时候的操作2: 步骤...