沐沐余风的专栏

对于日期时间的操作，记录一下：1、 unix时间戳 ⇋ 日期(string)unix时间戳 —->日期 from_unixtime(unixtime, format) 默认格式是：yyyy-MM-dd HH:mm:ss 1970-01-01 00:00:00 hive> select from_unixtime(1323308943,’yyyyMMdd’) from dual; 2

两大角色： DataNode：负责管理用户的文件数据块 NameNode：负责管理整个文件系统的元数据NameNode的工作机制职责： 1）客户端请求的响应 2）元数据的管理（查询，修改）元数据的存储： 内存中有一份完整的元数据；磁盘中还有一份元数据镜像。NameNode主要维护两个文件： 1）fsimage(filesystem image)文件镜像 存于硬盘的最新的元数据检查点

很好的图，mark一下

参考链接：深入浅出学Hive 1、Hive简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。本质是将SQL转换为MapReduce程序Hive与Hadoop的关系 Hive与传统数据库对比

Hive 参数hive.exec.max.created.files •说明：所有hive运行的map与reduce任务可以产生的文件的和 •默认值:100000 hive.exec.dynamic.partition •说明：是否为自动分区 •默认值：false hive.mapred.reduce.tasks.speculative.execution •说明：是否打开推测执行