数仓技术选型

考虑因素

数据量大小，业务需求，行业内经验，技术成熟度，开发维护成本，学习成本，总成本预算。
数据存储：MySQl，HDFS，HBase，Redis，MongoDB
数据采集：Flume，Kafka，DataX，Maxwell，Flink-CDC，Sqoop，Logstash
数据计算：Hadoop，Hive，Spark，Flink
数据查询：ClickHouse，Doris，Kylin
数据可视化：Superset，Echarts
任务调度：DolphinScheduler，Airflow
集群监控：Zabbix，Prometheus
元数据管理：Atlas
权限管理：Ranger，Sentry