hive
关注
分享
扫一扫
文章平均质量分 68
你说_
欢迎大家关注小白菜！
github：https://github.com/yuanyi0510
个人博客：https://yuanyi0510.github.io/
展开
-
Hive常见属性和交互操作
常见属性Hive数据仓库位置配置default/user/hive/warehouse注意事项* 在仓库目录下，没有对默认的数据库default创建文件夹* 如果某张表属于default数据库，直接在数据仓库目录下创建一个文件夹hive.metastore.warehouse.dir/user/hive/warehouse$ $HADOOP_HOME/bin/hadoop...原创 2018-10-18 18:49:35 · 313 阅读 · 0 评论 -
Hive初识
Hive由Facebook开源用于解决海量结构化日志的数据统计hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类似sql查询功能构架在Hadoop上的数据仓库：使用hql作为查询接口使用HDFS存储使用mapreduce计算本质是将hql转化成mapreduce程序灵活性和扩展性比较好适合离线数据处理架构图：面试必问HQL...原创 2018-10-15 18:35:11 · 143 阅读 · 0 评论 -
Hive环境搭建
相关文档官网官网文档wiki下载download源码git仓库安装hive 0.13.1要求：jdk1.7以上hadoop 2.0linux（最常安装）安装步骤;启动hdfs服务sbin/start-dfs.shsbin/start-yarn.shsbin/mr-jobhistory-daemon.sh start histo...原创 2018-10-17 13:45:50 · 390 阅读 · 0 评论 -
Hive优化
Hive server2wikiHive优化FetchTask<property> <name>hive.fetch.task.conversion</name> <value>more</value> <description> Expects one of [none, mi...原创 2018-10-22 17:13:04 · 399 阅读 · 0 评论 -
Hive中数据库Database基本操作
DatabaseCreate DatabaseCREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path]//默认在仓库根目录 [WITH DBPROPERTIES (property_name=property_value, ...)];...原创 2018-10-20 15:36:18 · 6282 阅读 · 0 评论 -
Hive表导入、导出数据
导入数据LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]eg：//1. 加载本地文件到hive表load data local inpath '/opt/datas/log.txt'into table de...原创 2018-10-21 19:38:28 · 232 阅读 · 0 评论 -
Hive的UDF编程
wiki编程步骤：继承org.apache.hadoop.hive.ql.UDF需要实现evaluat函数，evaluate函数支持重载注意事项：UDF必须要有返回值类型，可以返回null，但是不能为voidUDF中常用Text/LongWritable等类型，不推荐使用Java类型例子pom.xml添加依赖<dependency> <gro...原创 2018-10-21 20:13:27 · 275 阅读 · 0 评论