
hadoop
木土a
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
kafka创建消费者报错zookeeper is not a recognized option
在学习kafka时,创建消费者:./kafka-console-consumer.sh --zookeeper localhost:2181 --topic dblab --from-beginning 时,报错zookeeper is not a recognized option,google下发现是最新版本中这种启动方式已经删除 新启动方式:./kafka-console-consum...原创 2019-04-11 21:11:31 · 786 阅读 · 0 评论 -
Hive基本介绍
Hive介绍 facebook开源 设计目的:Hive期初是为了提供给那些精通sql但是java编程能力相对较弱的数据工程师能够对facebook上存放的HDFS的大规模数据集进行查询 Hive是构建在hdfs上的数据仓库框架 计算框架为MapReduce 数据存储在HDFS 适合离线数据处理 将HQL转为MR的语言翻译 Hive场景应用举例 日志分析 统计网站一个时间段内的...原创 2019-04-03 14:27:53 · 209 阅读 · 0 评论 -
Hive表(分区和分桶)
Hive分区 描述: Hive分区根据某字段的值分区 1.可以多维度分区 2.分区不会影响大范围查询的执行效率 3.每个分区为一个目录 4.分区下可继续分区或者分桶 优点:限制在某个或者某些区间的值查询,处理速度会非常快 创建分区执行语句:PARTITIONED BY 例:创建日志表,按照dt与country分区 CREATE TABLE logs(ts bigint, ...原创 2019-04-03 14:34:38 · 241 阅读 · 0 评论 -
spark-Shell 启动报错的坑
部署spark版本2.4.1(包为spark-2.4.1-bin-without-hadoop.tgz)时,启动spark-shell报错 错误信息是:Exception in thread "main" java.lang.NoSuchMethodError: jline.console.completer.CandidateListCompletionHandler.setPrintSpac...原创 2019-04-15 11:18:50 · 2903 阅读 · 0 评论