hive学习笔记-正则匹配篇

最新推荐文章于 2025-09-17 11:57:54 发布

原创最新推荐文章于 2025-09-17 11:57:54 发布 · 2.1w 阅读

4 ·

CC 4.0 BY-SA版权

hive学习同时被 2 个专栏收录

3 篇文章

订阅专栏

数据仓库

2 篇文章

订阅专栏

本文介绍如何在Hive中使用正则表达式进行数据匹配，包括数值型匹配、字符串开头结尾匹配以及字母匹配等常见场景，并解释了常用的正则符号如^、$、.和*的含义。

部署运行你感兴趣的模型镜像

正则匹配函数 regexp

1.正则匹配数值型

hive > select 1 regexp '^[0-9]*$' from dual;

> true

2.正则匹配数值开头结尾

hive > select '1aa1' regexp '^[0-9].*$' from dual;

> true

3.正则匹配字母

hive > select 'abc' regexp '^[a-z]*$' from dual;

> true

其实正则匹配都比较相同，^ 表示开头，$表示结尾，.表示任意字符，* 表示匹配模式里面任意多个

您可能感兴趣的与本文相关的镜像

Stable-Diffusion-3.5

图片生成

Stable-Diffusion

Stable Diffusion 3.5 (SD 3.5) 是由 Stability AI 推出的新一代文本到图像生成模型，相比 3.0 版本，它提升了图像质量、运行速度和硬件效率

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

jsphyun

关注关注

2
点赞
踩
4

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

(06)Hive——正则表达式

爱吃辣条的博客

02-11

4711

Hive正则表达式

hive-SQL学习笔记12

NLP与推荐算法

03-08

2802

SQL高级查询方法及条件设置

2 条评论您还未登录，请先登录后发表或查看评论

hive 正则表达式_hive 正则表达式匹配数据-1

weixin_42502601的博客

01-20

5055

在实际的应用中，通常需要在一些复杂的、没有规律的字符串中提取数据，这时候就需要用到正则表达式了，在编程语言中基本都会支持正则表达式的，最近在用hive数据仓库处理一些数据，应用到了正则表达式，记录下在工作中常用的正则表达式的写法，以后可以直接的用，省时省事。hive正则匹配函数语法：regexp_extract(string subject,string pattern,int index)返回值...

HIVE中的正则表达式rlike

最新发布

weixin_43346403的博客

09-17

539

这个例子可能有点误导，更好的例子是：查找所有名称以 “C” 开头，第三个字母是 “t” 的记录：WHERE name LIKE 'C_t%'，这会匹配 “Cat” 和 “Catalog”)查找名字以 "6" 结尾的产品 SELECT ... WHERE name LIKE '%6' Google Pixel 6 Pro (不，因为它以 ‘Pro’ 结尾，不会匹配) 123ABC (也不会，它以 ‘C’ 结尾)。而不是 RLIKE。， []， {}， ^， $， ` ` 等所有正则元字符。

hive--正则匹配

qq_46893497的博客

06-29

4097

文章目录1、匹配含有中文的2、匹配纯中文的3、匹配不含有中文的4、匹配只包含小写英文5、匹配不包含任何英文字符6、参考拓展 1、匹配含有中文的 name regexp '[\\u4E00-\\u9FFF]+' 2、匹配纯中文的 1） name not REGEXP '[u0391-uFFE5]' 2） regexp_like( name,'[\u4e00-\u9fa5]+','') =true 3、匹配不含有中文的 not regexp(name,'[\\u4E00-\\u9FFF]+')

Hive详解之正则匹配

lixinkuan的博客

10-05

2万+

在Hive中还有一项比较好用的功能，也是非常重要的功能：在建表的时候可以不指定表的行、字段、列的分隔方式，通过给表指定一段正则表达式，让Hive自动去匹配； 1、创建表 CREATE TABLE logtbl( host STRING, identity STRING, t_user STRING, time STRING, request STRING, refer...

正则表达式表

bangan1464的博客

08-28

846

正则表达式[2]由一些普通字符和一些元字符（metacharacters）组成。普通字符包括大小写的字母和数字，而元字符则具有特殊的含义，我们下面会给予解释。在最简单的情况下，一个正则表达式看上去就是一个普通的查找串。例如，正则表达式"testing"中没有包含任何元字符，它可以匹配"testing"和"testing123"等字符串，但是不能匹配"Testing"。要想真正的用...

Hive 正则匹配函数

maenlai0086的博客

06-20

9020

正则匹配字符解释： ^ 表示开头 $ 表示结尾 . 表示任意字符 * 表示任意多个 1、元字符匹配 (.) 表示匹配除换行符以外的任意字符。 (\w) 表示匹配字母、下划线、数字或汉字(\\W)。 (\d) 表示匹配数字 (\s) 表示匹配任意的空白符 ([ ]) 表示匹配方括号中任一字符 ([^匹配内容]) 表示匹配方括号中任一字符 2、位置匹配 (^) 表示匹配字...

Hive编程指南-学习笔记（二）数据定义

zjlamp的博客

10-05

453

一、数据库 1、创建数据库：CREATE DATABASE hive; 如果已经存在，会抛出异常，下面的语句不抛出异常：CREATE DATABASE IF NOT EXISTS hive; 数据库的默认位置是hdfs上：/user/hive/warehouse，修改默认位置：CREATE DATABASE financial LOCATION '/my/preferred';（访问目录：/...

Hive学习笔记

TigRer的博客

03-03

801

启动脚本 #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start"){ echo " =================== 启动 hadoop集群 ===================" echo " --------------- 启动 hdfs ---------------" ssh hadoop102 "/opt/mo

大数据知识点总结笔记 -- 应用篇

zhanggf的博客

03-22

1115

周末两天，继续整理了近些年从事大数据工作经验以及调优，本次主要针对一些Hive应用层面。一、事实表分类 1. 事务型事实表事务型事实表，一般指随着业务发生不断产生的数据。特点是一旦发生不会再变化。一般比如，交易流水，操作日志，出库入库记录等等。典型案例--交易流水表： 2. 周期型事实表周期型事实表，一般指随着业务发生不断产生的数据。与事务型不同的是，数据会随着业务周期性的推进而变化。比如订单，其中订单状态会周期性变化。再比如，请假、贷款申请，随着批复状态在周期性变化。 .

正则表达式实现匹配连续数字的方法

10-20

我这两天刚刚学正则表达式。我觉的正则对连续的字符匹配很简单，但是对连续的一段数字匹配就不是很好。正好最近有朋友问了匹配连续数字的正则，就帮忙写了一下，算是当作温习一下吧。下面这篇文章就主要介绍了正则表达式实现匹配连续数字的方法。

Hive学习笔记（更新中）

TheEvil7的博客

11-27

618

Hive学习 1、Hive数据类型 1.1、基本数据类型数据类型所占字节开始支持版本及描述 TINYINT 1字节（8位）有符号整数 1 SMALLINT 2字节（16位）有符号整数 1 INT 4字节（32位）有符号整数 1 BIGINT 8字节（64位）有符号整数１ FLOAT 4字节（32位）单精度浮点数 1 DOUBLE 8字节（64位）双精度浮点数 1 BOOLEAN true/false TRUE STRING 字符串 ‘xia’，“xia”

hive中使用正则表达式匹配数字

象牙塔小明的博客

04-15

1万+

匹配整数 \d 是匹配一个数字(0到9) \d 前面多了第一个\ 是为了在程序中转义第二个\ +表示 1个或多个组合起来 \d+ 就表示多个数字，形如 12、44、6763…… 在hive中判断字符是不是数字，还需要增加首尾限制：^\d+$ 判断 id 字段是不是数组，则使用语句：id rlike ‘^\d+$’ 判断即可匹配小数 \. 匹配一个小数点 \d+\.\d+ 就表示小数，形如12.334、0.12、87.343…… 在hive中判断字符是不是小数，还需要增加首尾限制：^\d+\.\d+$

使用 Hive SQL 中的 RLIKE 进行正则表达式匹配

weixin_42326851的博客

11-30

3059

使用 Hive SQL 中的 RLIKE 进行正则表达式匹配

Hive使用正则匹配字段

Howe的博客

07-28

782

Hive使用正则匹配字段

Hive正则表达式

dianjun2454的博客

06-11

474

正则表达式基本语法用圆括号将所有选择项括起来，相邻的选择项之间用|分隔。但用圆括号会有一个副作用，使相关的匹配会被缓存，此时可用?:放在第一个选项前来消除这种副作用。其中 ?: 是非捕获元之一，还有两个非捕获元是 ?= 和 ?!，这两个还有更多的含义，前者为正向预查，在任何开始匹配圆括号内的正则表达式模式的位置来匹配搜索字符串，后者为负向预查，在任何开始不匹配该正则表达式模式...

hive：正则函数

不花的花和尚的博客

06-28

4481

1.regexp 语法: A REGEXP B 操作类型: strings 描述: 功能与RLIKE相同 --匹配2开头，后接9个数字 select * from dws.dws_resumeachieve_t_result_last where workno regexp '2\\d{9}'; select * from dws.dws_resumeachieve_t_res...

hive：正则：匹配中文/英文/数字（REGEXP 和 rlike）

热门推荐

不花的花和尚的博客

05-15

2万+

数据： Java开发工程师 Java工程师海外BD岗移动web研发工程师 DBA工程师 JAVA高级开发工程师 PHP开发工程师 android资深开发经理课程顾问/sales manager EPM 认证工程师品牌总监分时租赁总经理销售总经理硬件测试工程师薪酬管理岗算法工程师大区销售总监财务经理研发总监 110100 110100 130100 130100 160100 200500 160100 110100 110100 110100 4849 4696 4861 474

hivesql正则匹配不包含英文字母

08-30

<think> 首先，用户的问题是："我想查找HiveSQL中正则匹配不包含英文字母的方法"。用户要求提供HiveSQL正则匹配不包含英文字母的实现方法。从用户提供的引用中，我可以提取相关信息： - 引用[1]中提到："匹配不含有中文的 not regexp(name,'[\\u4E00-\\u9FFF]+')"，这用于匹配不含中文字符。 - 引用[2]中提到："匹配不包含任何英文字符 name not rlike'([a-z]|[A-Z])+'"，这正是用户所需的匹配不包含英文字母的方法。 - 引用[3]讨论了匹配修饰符和非贪婪模式，但这似乎与当前问题不太直接相关。用户的关键点是："正则匹配不包含英文字母"。在HiveSQL中，正则表达式通常使用RLIKE或REGEXP函数来实现匹配。根据引用[2]："匹配不包含任何英文字符 name not rlike'([a-z]|[A-Z])+'"，这表明： - 使用NOT RLIKE来匹配不包含任何英文字符。 - 表达式'([a-z]|[A-Z])+' 匹配任何小写或大写英文字母。所以，实现方法是：使用NOT RLIKE 加上一个正则表达式来匹配英文字母。 正则表达式应该覆盖所有英文字母，包括大小写。表达式可以是'[a-zA-Z]'，因为[a-z]匹配小写字母，[A-Z]匹配大写字母。在引用[2]中用了'([a-z]|[A-Z])+'，这等价于'[a-zA-Z]'，但使用选择符|可能更精确，但[a-zA-Z]更简洁。在Hive中，建议使用标准的正则表达式语法。'[a-zA-Z]' 将匹配任何英文字母。因此，HiveSQL查询应该像： SELECT * FROM table WHERE column_name NOT RLIKE '[a-zA-Z]' 或者使用REGEXP： SELECT * FROM table WHERE NOT column_name REGEXP '[a-zA-Z]' 用户提到了"不包含英文字母"，意思是字段值中没有任何英文字母字符。所以，NOT RLIKE '[a-zA-Z]' 应该正确匹配那些不包含任何英文字母的字符串。我需要确保回答结构清晰，并用中文回复。步骤： 1. 解释方法：使用NOT RLIKE或NOT REGEXP函数。 2. 提供正则表达式：'[a-zA-Z]'。 3. 给出示例查询。 4. 确认引用来源：[^2]。根据系统指令： - 所有行内数学表达式用$...$格式（这不适用，因为这里是文本）。 - 独立公式用$$...$$（不适用）。 - LaTeX语法正确（不适用）。 - 使用中文回答。 - 生成相关问题。 - 在回答中引用的段落末尾自然地添加引用标识。生成相关问题： - 基于主题，相关问题可能包括： 1. 如何匹配纯中文的字符串？ 2. 如何匹配仅包含数字的字符串？ 3. Hive中如何处理正则表达式的性能优化？ 4. 其他常见正则匹配场景。结构化回答： - 先直接回答用户问题。 - 提供示例。 - 添加引用。 - 最后生成相关问题。最终回答：用户问题：HiveSQL正则匹配不包含英文字母的实现方法。方法：使用NOT RLIKE或NOT REGEXP函数，配合正则表达式'[a-zA-Z]'。完整示例： SELECT * FROM your_table WHERE NOT your_column REGEXP '[a-zA-Z]' 或者： SELECT * FROM your_table WHERE your_column NOT RLIKE '[a-zA-Z]' 引用来源：引用[2]提到类似方法。相关问题列表。 </think> ### HiveSQL正则匹配不包含英文字母的实现方法在HiveSQL中，要匹配字段值中 **不包含任何英文字母** 的字符串，可以使用正则表达式函数结合否定逻辑来实现。核心方法是利用 `NOT RLIKE` 或 `NOT REGEXP` 函数，配合一个匹配所有英文字母（包括大小写）的正则表达式。以下是详细步骤和示例： #### 方法说明 - **正则表达式**：使用 `[a-zA-Z]` 匹配任意英文字母（a-z 或 A-Z）。 - **函数选择**： - `NOT RLIKE`：Hive中推荐使用 `RLIKE` 函数处理正则匹配，其语法简洁。 - `NOT REGEXP`：与 `RLIKE` 等效，可互换使用。 - **逻辑原理**：`NOT RLIKE '[a-zA-Z]'` 会过滤掉字段值中包含 **至少一个英文字母** 的记录，仅保留那些 **完全不含英文字母** 的字符串（例如纯数字、纯中文或特殊符号组成的字符串）[^2]。 #### 完整示例查询假设有一个表 `user_data`，其中字段 `name` 包含用户名称，我们想筛选出 `name` 字段不包含任何英文字母的记录： ```sql -- 使用 NOT RLIKE 实现 SELECT * FROM user_data WHERE name NOT RLIKE '[a-zA-Z]'; -- 等效的 NOT REGEXP 实现 SELECT * FROM user_data WHERE NOT name REGEXP '[a-zA-Z]'; ``` #### 注意事项 1. **大小写敏感**：正则表达式 `[a-zA-Z]` 是大小写敏感的，确保覆盖所有英文字母。如果数据包含非英文字母（如中文、数字、下划线等），此方法能正确匹配。 2. **性能考虑**：在大型表上使用正则匹配可能影响查询性能。建议： - 添加分区过滤以减少扫描数据量。 - 如果频繁使用，可考虑预计算标志列（如添加一个布尔列表示是否含英文字母）。 3. **边界情况**：如果字段值为空（NULL），上述查询会忽略空值；如需包含空值，可添加 `OR name IS NULL`。 4. **验证正则表达式**：引用[2]中提到 "匹配不包含任何英文字符" 的方法与此一致，即使用 `not rlike '([a-z]|[A-Z])+'`，但 `[a-zA-Z]` 更简洁高效[^2]。 #### 常见问题排查 - **匹配错误**：如果出现误匹配（如数字或中文被排除），检查字段是否包含隐藏字符（如空格）。可用 `TRIM(name)` 清理数据。 - **扩展场景**：若要匹配 **纯中文** 或 **纯数字** 等，可结合其他正则表达式（如引用[1]和[2]中的示例）[^1][^2]。