少年阿文的博客

1.什么是数据倾斜数据倾斜就是数据大量集中在一个点使得任务执行缓慢或者失败。2.数据倾斜的表现表现是使得在执行数据处理的时候，绝大部分任务在合理或者较快的时间内完成，而少数一两个任务则非常耗时，进展缓慢，严重的可能会oom（内存溢出）任务失败。3.数据倾斜的原因（1）key分布不均匀；（2）实际业务情况；（3）建表设计不合理；（4）hql语句本身存在倾斜。3.容易出现数据倾斜的情况（1） group by的时候维度过少，使得少数几个维度数量过大；（2）count（distinct)，某

1. 日期函数unix时间转日期函数：from_unixtime，语法为from_unixtime(bigint unixtime, stringformat)select from_unixtime('1323308943','yyyyMMdd')--201112082. 获取unixtime:current_timestamp()select current_timestamp(from_unixtime())3. 获取当前日期select current_date()

查询语言不同：hive用hql，mysql是sql语句；文件存储位置不同：hive是存在hdfs，mysql是存在自带的数据库；数据更新不同：hive不支持更新，mysql可以；数据格式不同：hive可自定义，mysql有格式限制；索引不同：hive没有索引，索引每次需要使用mapreduce暴力扫描，mysql有；延迟性：hive延迟高，mysql较小；数据量不同：hive数据量大，mysql小；执行原理不同：hive是使用的mapreduce，mysql是executor执行器。..

##1. es是什么ElasticSearch简称ES，是一个高拓展和开源的全文搜索和分析引擎，可以准实时地存储、搜索、分析海量的数据。它和MongoDB、redis等一样是非关系型数据。业应用定位：采用Restful API标准的可扩展和高可用的实时数据分析的全文搜索工具。可拓展：开源软件，支持很多第三方插件。高可用：在一个集群的多个节点中进行分布式存储，索引支持shards和复制，即使部分节点down掉，也能自动进行数据恢复和主从切换。采用RestfulAPI标准：通过http接口使用JSO