浮生、佐以酒

软件版本 jdk8u45 hadoop-2.6.0-cdh5.7.0.tar.gz hive-1.1.0-cdh5.7.0.tar.gz mysql-connector-java-5.1.46-bin.jar Hive概述 Hive由Facebook开源，起初是为了解决海量结构化日志的统计。是基于Hadoop之上的数据仓库（data warehouse） Hive 是一个使用SQL来操作分布...

存储格式 默认textfile的使用： hive>create table t1(id int, name string) stored as textfile; hive>create table t1(id int, name string); 默认存储的时候，使用的格式是textfile,上述两句语句的效果一样。 hive>desc formatted t1; 默...

为什么要使用压缩 随着数据量越来越大，对数据如何处理使得我们提高数据处理效率，如何选择和使用压缩就显得尤为重要。 压缩的优点： 1）减少文件大小（reduce file size） 2）节省磁盘空间（svae disk space） 3）增加网络传输速度及效率（Increase tansfer speed at a given data rate） 压缩技术 压缩分为无损压缩(Lossless ...

首先，这其实是一个悲伤的故事。 中午装了一个三台测试机，一顿操作猛如喵之后，终于轮到hive的安装配置了。 在淡定的解压完，配置文件都配置完，启动了hiveserver2之后，就在我颤抖的小手在键盘上输入 bin/beeline beeline> !connect jdbc:hive2://node03.hadoop.com:10000 哦豁 Could not open connecti...

在我们hive当中执行任意的查询，只要是需要跑MR的程序，就会报错，发现权限不够的异常 INFO : Compiling command(queryId=root_20180625191616_d02efd23-2322-4f3d-9cb3-fc3a06ff4ce0): select count(1) from mystu INFO : Semantic Analysis Completed ...