qq_28203321的博客

bitmap数据结构和使用场景

缓慢变化维

hive的常用命令：一、hive 管理表(内部表)与外部表的互相转换1．修改外部表emp为内部表(emp为表名)alter table emp set tblproperties ('EXTERNAL'='FALSE');2．修改内部表emp为外部表alter table emp set tblproperties ('EXTERNAL'='TRUE');注意：(‘EXTERNAL’=‘TRUE’)和(‘EXTERNAL’=‘FALSE’)为固定写法，区分大小写！二、hive的分区操作1

1.关于like与rlike,not like,like not的使用对比总结rlike功能和like功能大致一样，like是后面只支持简单表达式匹配（_%）,而rlike则支持标准正则表达式语法。所以如果正则表达式使用熟练的话，建议使用rlike，功能更加强大。所有的like匹配都可以被替换成rlike。反之，则不行。但是注意：like是从头逐一字符匹配的，是全部匹配，但是rlike则不是,可以从任意部位匹配，而且不是全部匹配。hive (default)> select 'boobar' li

一、去除空格和tab的方法：1、去除空格用trim(只能将标准的英文空格删掉)2、去除tab用如下方法select regexp_replace(secdomainname,’\s+’,’’) from dwb_cndns_node_secdomain_d where …3、有中文的的空格去除regexp_replace(NVL(column,’’),’[\s]+|[\u3000]+|...

一、查询时显示字段名1、进入hive cli后：set hive.cli.print.header=true;2、此时显示的字段名带表名，可读性很差，继续在hive cli中：set hive.resultset.use.unique.column.names=false;3、可以设置hive属性在命令行显示当前数据库：set hive.cli.print.current.db=t...

hive的性能调优一.严格模式通过设置以下参数开启严格模式：　　>set hive.mapred.mode=strict;【默认为nonstrict非严格模式】　　查询限制：　　　　1.对于分区表，必须添加where查询条件来对分区字段进行条件过滤。　　　　2.order by语句必须包含limit输出限制。　　　　3.限制执行笛卡尔积的查询。二、Hive开启本地模式执行0...

Hive中有三种自定义函数分类1、用户定义函数(user-defined function)UDF;2、用户定义聚集函数（user-defined aggregate function，UDAF）;3、用户定义表生成函数（user-defined table-generating function，UDTF)。介绍UDF操作作用于单个数据行，并且产生一个数据行作为输出。大多数函数都属于...

Hive创建表时添加COMMENT时的中文注释就会出现乱码，如下：创建表：CREATE TABLE dws_vip_efective_total_year (row_key string,vip_market_id int COMMENT '开通付费会员的商场ID', vip_market_name string COMMENT '开通付费会员的商场名称',vip_efective_to...

在 hive命令行显示当前数据库两种方式。1、可以在hive命令行执行以下语句显示当前数据库：hive> select current_database();2、可以设置hive属性在命令行显示当前数据库：set hive.cli.print.current.db=true;注: 这是当前的session窗口有效；3、永久修改，向hive-site.xml文件添加一下配置：...