大数据技术框架

数据采集传输:flume kafak,sqoop,logstash,datax
数据存储:mysql,hdfs,hbase,redis,mongodb
数据计算:HIVe,tez(基于内存),spark,flink,storm
数据查询:presto,druid,impala,kylin
数据可视化:echarts,superset,quickBI,dataV
任务调度:azkaban,oozie
集群监控:zabbix
元数据管理:atlas
数据质量监控:griffin