weixin_41018467的博客

在学习kafka时，创建消费者：./kafka-console-consumer.sh --zookeeper localhost:2181 --topic dblab --from-beginning 时，报错zookeeper is not a recognized option，google下发现是最新版本中这种启动方式已经删除 新启动方式：./kafka-console-consum...

Hive介绍 facebook开源 设计目的：Hive期初是为了提供给那些精通sql但是java编程能力相对较弱的数据工程师能够对facebook上存放的HDFS的大规模数据集进行查询 Hive是构建在hdfs上的数据仓库框架 计算框架为MapReduce 数据存储在HDFS 适合离线数据处理 将HQL转为MR的语言翻译 Hive场景应用举例 日志分析 统计网站一个时间段内的...

Hive分区 描述： Hive分区根据某字段的值分区 1.可以多维度分区 2.分区不会影响大范围查询的执行效率 3.每个分区为一个目录 4.分区下可继续分区或者分桶 优点：限制在某个或者某些区间的值查询，处理速度会非常快 创建分区执行语句：PARTITIONED BY 例：创建日志表，按照dt与country分区 CREATE TABLE logs(ts bigint, ...

部署spark版本2.4.1（包为spark-2.4.1-bin-without-hadoop.tgz）时，启动spark-shell报错 错误信息是：Exception in thread "main" java.lang.NoSuchMethodError: jline.console.completer.CandidateListCompletionHandler.setPrintSpac...