qq_38374562的博客

1.环境选定：centos7，三节点，内存8-3-3，硬盘主节点大于50G，其他的最好也是几十G，网络nat模式，固定ip，测试是否ping通互联网。 2.组件版本，apache版本，虽然麻烦，但是cdh收费之后，有实力的地方绝对是自己搭建apache。 3.hadoop搭建： ...

一：项目结构 二：pom依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.ap

技术选型的主要考虑因素：数据量大小，业务需求，行业内经验，技术成熟度，开发维护成本，总成本预算。 数据采集传输：flume，kafka，sqoop，logstash，dataX 数据存储：mysql，hdfs，hbase，redis，mongoDB 数据计算：hive，tez，spark，flink，storm 数据查询：presto，druid，impala，kylin 数据可视化：echarts，superset，quickBI，dataV 任务调度：azkaban，oozie 集群监控：zabbix