修行的博客

Hive1、分隔符前后字段截取Tips:mysql的3种字段截取；1、`SUBSTR(s, start, length)从字符串 s 的 start 位置截取长度为 length 的子字符串从字符串 RUNOOB 中的第 2 个位置截取 3个 字符：`SELECT SUBSTR("RUNOOB", 2, 3) AS ExtractString; -- UNO2、`SUBSTRING(s, start, length)从字符串 s 的 start 位置截取长度为 length 的子字符串从字符串

Hive库array<< struct >>字段结构查询建表相关语句： `sector_set` array<struct<gnb_id:int,cell_id:int,mr_count:bigint,rsrp_avg:double,sn:int,dist:int,cell_name:string>> COMMENT 'TOP5', `sector_set`字段数据表现形式：[{"gnb_id":7799206,"cell_id":2,"mr_co

!= 和 <> 和 is not null//不会查出字段是null的数据SELECT * FROM table WHERE IsDeleted <> true AND name LIKE '%%' ;SELECT * FROM table WHERE IsDeleted != true AND Name LIKE '%%';//可以查出字段是null的数据SELECT * FROM table WHERE IsDeleted is not true AND name L

Hive添加表字段新增字段表alter table 表名 add columns(字段名 数据类型)alter table table_name add columns (c_time string comment '当前时间');-- 正确，添加在最后alter table table_name change c_time c_time string after address; -- 正确，移动到指定位置,address字段的后面Hive更换已有表字段类型Hive 表修改字段类型

清除Hive表数据hive删除表：drop table table_name;hive删除表中数据：truncate table table_name;hive按分区删除数据：alter table table_name drop partition (partition_name='分区名')全表： 1、删除内部表中数据（保留表结构） truncate table 表名; 2、删除外部表中数据（保留表结构） hdfs -dfs -rm -r 外部表路径 drop tabl

OR-AND数据源： 1,22 1,21 2,22 1,20select * from id_age where (id=1 or id =2) and age=22;表示： 查询id=1,同时age=22或者id=2,同时age=22的数据,数据只要id=1或者id=2都要加age=22这个条件 即id=1 and age=22/id=2 and age=22显示结果： 1,22 2,22 select * from id_age where id=1 or id =2 an

count(distinct)多字段问题select count(distinct(字段a | 字段b)) from 表名;

数据从MySQL -> Hive设计思路:1、从mysql表结构转hive表结构；2、从mysql导出表数据；3、将数据移至到hive的机器上；4、hive分区导入数据；5、导入错误时可删除HDFS路径上的数据源和删除错误数据的分区。这里字段间用的分隔符是|1、从mysql表结构转hive表结构；建表2、从mysql导出表数据；mysql -账号-p 密码 -e "select * from 表名 " | tr "\t" "|" >> /home/hadoop/sa

Hive提交脚本参数选择-hivevar : 传参数 ，专门提供给用户自定义变量。-hiveconf : 传参数，包括了hive-site.xml中配置的hive全局变量。1）hiveconfhiveconf用于定义HIVE执行上下文的属性(配置参数)，可覆盖覆盖hive-site.xml（hive-default.xml）中的参数值，如用户执行目录、日志打印级别、执行队列等，常用的配置属性如下：参数名称 和 参数解释hive.metastore.warehouse.dir 启动时指定用户目录，

Hive提交脚本步骤上面的hive.sql执行中会有三个参数，需要后期的变动，下面给出执行命令hive -f /root/sql/ruu1.sql --hivevar province_id=844 --hivevar daySelect=`date +%Y%m%d -d '-9 days'` --hivevar province_name='广东'hive -f /root/sql/ruu1.sql -d province_id=844 -d daySelect=`date +%Y%m%d -d

1、HDFS数据导入Hive表以及表修复a.将数据传到HDFS#创建文件夹hadoop fs -mkdir -p /user/hive/warehouse/stg/test/bus_date=20191101 #将本地文件传到hive建表时的hdfs路径下hadoop fs -put /opt/datas/test.txt(要上传的文件) /user/hive/warehouse/stg/test/bus_date=20191101(上传的目标文件夹)tips: 若是需要将文件夹数据全部导入

Hive建表以及表字段分隔符Tips: 1.最后一个字段不需要加逗号； 2.external 是外部表的标志，不加关键字则是内部表，外部表删不掉数据。一般做测试表的话建议建内部表，删除方便； 3.分区字段 partition by('XXXX' TYPE,'OOOO' TYPE...)不能出现在创建表时的字段中，换句话说，分区字段字段也是新的字段，在别的表中用的时候和普通字段使用方法是一样的；建表语句示例：CREATE external TABLE `table1`( `name` str

Hive函数、压缩存储、调优、权限一、函数1 系统内置函数显示自带函数的用法 desc function 函数名;详细显示自带函数的用法 desc function extended 函数名;2 自定义函数1）Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便的扩展2）当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以...

Hive分桶、动态分区、查询、视图索引一、Hive参数hive当中的参数、变量，都是以命名空间开头通过${}方式进行引用，其中system、env下的变量必须以前缀开头命名空间读写权限含义hiveconf可读写hive-site.xml当中的各配置变量 例：hive --hiveconf hive.cli.print.header=truesyste...

Hive分析框架一、Hive简述Hive 建立在Hadoop文件系统上的数据仓库架构，并对存储在HDFS中的数据进行分析与管理Hive架构的核心/本质 --将数据通过SQL语句转换成MapReduce操作/转成hdfs操作数据仓库 --主要用来分析和管理数据，一般是查询操作，需要定期加载和刷新数据元数据Metastore（表字段定义，属性，存放位置等除本身数据之外的信息）存...

大数据第22天-HIVE权限管理和优化权限管理三种授权模型：1、Storage Based Authorization in the Metastore Server​ 基于存储的授权 - 可以对Metastore中的元数据进行保护，但是没有提供更加细粒度的访问控制（例如：列级别、行级别）。2、SQL Standards Based Authorization in HiveServer...

大数据第21天一、hive参数hive当中的参数、变量，都是以命名空间开头通过${}方式进行引用，其中system、env下的变量必须以前缀开头命名空间读写权限含义hiveconf可读写hive-site.xml当中的各配置变量 例：hive --hiveconf hive.cli.print.header=truesystem可读写系统变量，包...

HIVE安装单用户模式搭建1 解压2 修改hive-site.xml hive.metastore.warehouse.dir /user/hive_remote/warehouse hive.metastore.local true javax.jdo.option.ConnectionURL jdbc:mysql:...

大数据第20天-HiveHive 一种建立在Hadoop文件系统上的数据仓库架构，并对存储在HDFS中的数据进行分析与管理Hive架构的核心 --将数据通过SQL语句转换成MapReduce操作/转成hdfs操作数据仓库 --主要用来分析和管理数据，一般是查询操作，需要定期加载和刷新数据元数据Metastore（表字段定义，属性，存放位置等除本身数据之外的信息）存储在关系型数据库（...