weixin_48796645的博客

序列化就是把内存中的对象，转换成字节序列。

大数据面试题第一期（4篇）

数据仓库sql开发，hiveSQL

dataX数据采集

大数据实战项目

ELT是将etl的开发流程进行了调整，使用采集工具采集数据，将数据直接写入hdfs，清洗转化过程可以使用hiveSQL在数仓中执行。资源全部给一个计算任务使用，但是当计算任务中的某个map或reduce计算完成后，可以将自身资源释放掉给其他计算任务使用。2-split切割后的数据传递给对应的map进行处理,会对数据转为kv (张三,1) (张三，1)，（李四，1）随着分析需求的改变，数仓中的数据也在不断变化，随着时间推移，统计的字段计算数据也在发生变化。reduce的个数默认是一个；

分布式文件存储系统

多表关联，为了提升多表关联的查询效率，可以将关联的表数据按照相同的关联字段，进行分桶，保持分桶个数一致，或是倍数关系，可以将系统数据放在同一个余数文件中，提升了关联效率。) -- clustered by 指定按照哪个字段的数据进行数据的拆分 into 2 buckets 指定拆分的数量。) -- clustered by 指定按照哪个字段的数据进行数据的拆分 into 2 buckets 指定拆分的数量。大数据开发数据量较大，在进行数据查询计算时，需要对数据进行拆分，提升的查询速度。

Hadoop概述了解，虚拟机集群搭建过程