大数据
汤川汤川
悄悄把梦想都变成了现实
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hive执行命令卡在Kill Command 无法运行的解决方案
执行简单查询select count(*) from test; 任务开始运行之后卡住不动,也不报错,信息如下: hive (default)> select count(*) cnt from emp; Query ID = root_20200220175612_bb456a03-2298-4d20-82b9-c0a96ae859a0 Total jobs = 1 Launching ...原创 2020-02-20 23:21:26 · 4585 阅读 · 2 评论 -
Hive打不开解决方案.The last packet sent successfully to the server was 0 milliseconds ago
Caused by: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any...原创 2020-02-20 23:07:43 · 2502 阅读 · 0 评论 -
MapReduce优化
MapReduce 低速原因 1.数据输入 (1)合并小文件 (2)CombineTextInputFormat 2.Map阶段 (1)减少溢写(Spill)次数 (2)减少合并(Merge)次数 (3)Combine预处理 3.Reduce阶段 (1)合理设置Map和Reduce数 (2)设置Map、Reduce共存 (3)规避使用Reduce (4)合理设置Reduce端的B...原创 2020-02-11 17:53:21 · 743 阅读 · 0 评论
分享