
hive日常操作
文章平均质量分 92
mnasd
这个作者很懒,什么都没留下…
展开
-
数据库创建、表创建、加载数据
--创建数据库create database if not exists sopdmcomment ‘this is test database’with dbproperties(‘creator’=’gxw’,’date’=’2014-11-12’) --数据库键值对属性信息location ‘/my/preferred/directory’; --查看数...转载 2018-07-17 21:13:27 · 394 阅读 · 0 评论 -
Hive学习之路 (十二)Hive SQL练习之影评案例
目录案例说明 数据下载 解析 1、正确建表,导入数据(三张表,三份数据),并验证是否正确 2、求被评分次数最多的10部电影,并给出评分次数(电影名,评分次数) 3、分别求男性,女性当中评分最高的10部电影(性别,电影名,影评分) 4、求movieid = 2116这部电影各年龄段(因为年龄就只有7个,就按这个7个分就好了)的平均影评(年龄段,影评分) 5、求最喜欢看电影(...转载 2018-07-29 15:02:04 · 1102 阅读 · 0 评论 -
hive锁表解决
查询是否锁表show locks ;发现表(fact_hz_zlfa)被锁,临时解决方案 对表解锁unlock table fact_hz_zlfa ;解决方案:find / -name hive-site.xml 关闭锁机制:set hive.support.concurrency=false; 默认为true hive lock...转载 2018-08-06 13:41:28 · 7802 阅读 · 1 评论 -
python 导出hive数据表的schema
为了避免运营提出无穷无尽的查询需求,我们决定将有查询价值的数据从mysql导入hive中,让他们使用HUE这个开源工具进行查询。想必他们对表结构不甚了解,还需要为之提供一个表结构说明,于是编写了一个脚本,从hive数据库中将每张表的字段即类型查询出来,代码如下:#coding=utf-8import pyhs2from xlwt import * hiveconn = ...转载 2018-11-28 23:46:04 · 791 阅读 · 0 评论 -
Hive中desc和show create table中文注释乱码解决方案
Hive中desc和show create table中文注释乱码解决方案1.修改hive-site.xml<property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://你的IP:3306/hive?createDatabaseIfN...转载 2018-11-30 00:07:15 · 5876 阅读 · 0 评论 -
hive修改 表/分区语句
参考https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-AlterTable%2FPartitionStatements这里主要列一些常用操作。添加分区ALTER TABLE table_name ADD PARTITION (partCol = 'v...转载 2019-03-28 22:35:51 · 891 阅读 · 0 评论