changzoe的博客

使用Hive做数据清洗，经常需要使用正则表达式。比较讨厌的是，正则表达式匹配失败的时候，hive完全不会报错。 原来的写法 SELECT * from ahhs_product_info where product_name NOT RLIKE ‘([\u4e00-\u9fa5])+’ ;在hive里面的写法 SELECT * from ahhs_product_info where...

拼接函数concat(STRING|BINARY a, STRING|BINARY b…)Returns the string or bytes resulting from concatenating the strings or bytes passed in as parameters in order. For example, concat(‘foo’, ‘bar’) res...

get_json_object(string json_string, string path)说明：第一个参数填写json对象变量，第二个参数使用$表示json变量标识，然后用 . 或 [] 读取对象或数组；如果输入的json字符串无效，那么返回NULL。每次只能返回一个数据项。举例：data 为 test表中的字段，数据结构如下：data ={ "store": ...

lead(expr [, offset] [, default]) OVER([partition_by_clause] order_by_clause)This function returns the value of an expression using column values from a following row. You specify an integer offset, ...

公用表表达式（CTE）是从WITH子句中指定的简单查询派生的临时结果集（会把查询的表数据放到内存中，供其他查询随时使用），该子句紧跟在SELECT或INSERT关键字之前。CTE仅在单个语句的执行范围内定义。可以在Hive SELECT，INSERT， CREATE TABLE AS SELECT或CREATE VIEW AS SELECT语句中使用一个或多个CTE 。在 select 中使用...

本文链接：https://blog.youkuaiyun.com/afafawfaf/article/details/80249974为了对表进行合理的管理以及提高查询效率，Hive可以将表组织成“分区”。一个分区实际上就是表下的一个目录，一个表可以在多个维度上进行分区，分区之间的关系就是目录树的关系。1、创建分区表通过PARTITIONED BY子句指定，分区的顺序决定了谁是父目录，谁是子目录。创建...