weixin_45052608的博客

一、数据导入hive到hdfsload data local inpath ‘路径/文件’ [overwrite] into table table_name [partition(column=value,…)]从本地文件系统(hive所在服务器的本地)导入数据到hive表。hive表存储在hdfs上，所以数据就导入到hive所在的hdfs的存储路径hdfs到hdfsload data inpath ‘路径/文件’ [overwrite] into table table_name [part

当配置完以后，hive连接不上，且出现如下报错时，说明hive的lib路径下没有mysql-connector的jar包。（由于我之前已经把mysql-connector的tar包放到/opt/app/hive/lib下了，但是jar包在tar包中，没有直接放在lib下，所以我只是把jar包移出到lib下就好了）mysql中的user表记录了用户信息，里边记录了用户、可登陆主机、密码等信息，我们需要把主机改成通配符，使任何主机都可以登录mysql库。在/opt/app/hive/conf/下新建。

一、部分常用函数NVL(字段，value)：字段为空则赋值value date_format(‘时间’,‘yyyy-MM-dd HH:mm:ss’)只能设置时间类型的字段的格式(2020/01/02这种不算时间类型，就不能用date_format设置格式)date_add(‘时间’,天数)：时间加天数后的时间date_sub(‘时间’,天数)：时间减天数后的时间datediff(‘时间1’,‘时间2’)：时间1-时间2的天数regexp_replace(value,‘value1’,‘val

一、库常用操作数据库在hdfs上的默认路径：hdfs://机器名:端口/user/hive/warehouse/*.db建库：create database if not exists 库建库并指定路径：create database if not exists 库 location ‘路径/库’用库：use 库显示库：show databases like ‘关键字*’显示库详细信息：desc database 库删空库：drop database if exists 库删非空库：dro

行转列concat(‘字符串’,‘字符串’)：拼接concat_ws(‘分隔符’,‘字符串’,‘字符串’)：以分隔符拼接字符串，忽略为空的字符串，但若分隔符是null，则返回值也是nullcollect_set(字段)：把字段值去重合并，转换成数组--将name列的值转换为数组arrayselect collect_set(name) from table_1--将name列的值用-拼接起来select concat_ws('-',collect_set(name)) from table

Hive是什么基于Hadoop的数据仓库工具(管理不存储数据)，将hdfs上的结构化数据映射成一张表，提供类sql查询功能干什么海量、结构化数据、查询计算本质把HQL转换成MapReduce程序sql中的查询语句写成MapReduce模板封装在Hive中(数据仓库是通过sql进行统计分析的)Hive框架把用户写的sql匹配成相应的MapReduce程序MapReduce程序运行并产生分析结果返回给用户Hive注意点Hive处理的数据存储在hdfsHive分析数据底层的默认实现是