qq_36108146的博客

环境：os : centos7.5hadoop :3.0hive: 3.0sqoop: 1.5mysql:  5.7MySQL数据导入到hive，在通过zookeeper地址连接hive时,一直处于卡住状态，没有发现任何错误信息，经过一番查找，终于发现问题之根源。  首先，给一下我的导入命令：sudo -u hdfs sqoop import –connect ‘\...

从SQL层面上分析：insert 操作：2019-02-18 18:14:35,396 INFO FSNamesystem.audit: allowed=true   ugi=hive (auth:SIMPLE)  ip=/ip.151        cmd=delete      src=/user/hive/.staging/job_1544610861281_0006      d...

今天，看了几篇hive压缩格式相关的博客觉得不错，在这里做一下提取要点汇总。0 前言数据做压缩和解压缩会增加CPU的开销，但可以最大程度的减少文件所需的磁盘空间和网络I/O的开销，所以最好对那些I/O密集型的作业使用数据压缩，cpu密集型，使用压缩反而会降低性能。 而hive中间结果是map输出传给reduce，所以应该使用低cpu开销和高压缩效率，一般最好使用sn...

1）Create a topicbin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test查看运行的topicbin/kafka-topics.sh --list --zookeeper localhost:21812）发...