Dwiwhwjd的博客

数仓题目 1、能否简介一下当前这个项目 包含： •项目做了什么 项目叫做：知行教育大数据分析平台（数仓开发项目） 目的：对海量的业务数据进行指标分析。 结果：对分析的结果做可视化的展示 •用到了什么技术 Hive ，Hue，Cloudera Manager，HDFS，Oozie，YARN，Zookeeper，Sqoop，拉链表… •解决了什么问题 1.将各种数据源整合到一起统一数据中心，解决数据壁垒。 2.保留历史变更数据，提供对细节变化分析支持。 3.脏数据清洗，简化业务复杂结构数据。 •用于哪个行业？行

hive中要做的事 创建数据库 create database ods；、 –设置一些配置 alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8; alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8; – 修改分区字段注解 alter table PARTITION_PARAMS m

17、HDFS适用场景 1、海量数据存储 2、高容错 3、商用廉价的硬件 4、存储大文件 5、一次写入多次读取 18、HDFS不适用场景 1、查询时效性要求低延迟的场景 2、需要频繁修改数据的场景 3、大量小文件。 4、多个用户同时操作一个文件 19、Fsimage，Edits的作用 Fsimage，Edits用于永久存储HDFS文件系统的镜像和操作日志。 集群在二次启动时，使用Fsimage，Edits将集群恢复到关闭前的状态。 20、secondaryNameNode如何辅助管理FSImage与E