hive sql手机号正则表达式剔除不规则数据

前端验证缺失：后端HiveSQL处理异常手机号的规则,
最新推荐文章于 2025-09-24 12:00:00 发布
原创 最新推荐文章于 2025-09-24 12:00:00 发布 · 1.1k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #sql #hadoop

因前端没有验证手机号的规则，后端数据处理时剔除掉不规则的手机号
例如：13000000000、14000000000、15011111111等

目前规则是前三位符合中国手机号的规则。
后8位不为同一数字。

hive sql

SELECT phone_number
FROM your_table
WHERE phone_number RLIKE '^((13[0-9])|(14[0-9])|(15[0-35-9])|(16[2567])|(17[0-8])|(18[0-9])|(19[89]))\\d{8}$' 
AND NOT phone_number RLIKE '(\\d)\\1{7}';

在上述查询中，"your_table" 是存储手机号码的表名，"phone_number" 是存储手机号码的列名。

^ 和 $ 表示匹配字符串的开头和结尾。

(
最低0.47元/天 解锁文章
大数据领域数据清洗的流程规范化建设
架构师的AI之路，分享AI应用开发架构的学习与实践。
09-09 654
随着企业数字化转型的深入，日均产生的数据量呈指数级增长，Gartner数据显示全球数据总量将在2025年达到175 ZB。然而，数据质量问题普遍存在：据IBM测算，企业每年因数据质量问题造成的损失高达1290亿美元。数据清洗作为数据治理的关键环节，通过识别并纠正数据中的错误、缺失、重复等问题，为后续数据分析、机器学习建模、商业智能应用奠定基础。
使用正则表达式判断是否为手机号码(简单且实用)
10-21
主要介绍了使用正则表达式判断是否为手机号码(简单且实用)的相关知识，非常不错，具有参考借鉴价值，感兴趣的朋友一起看下吧
sql手机号连号正则表达式匹配
weixin_44513101的博客
07-25 2107
sql手机号连号正则表达式匹配
SQL 正则解析手机号码提供商
一名普通工程师的日常总结
07-28 928
代码】SQL正则解析手机号码提供商。
通过正则表达式校验hive表中手机号码字段
朝和
10-15 4569
select '13611112349' regexp '13[0-9]\\d{8}$' 执行结果返回true则为手机号码正确 效果图如下：
sql实现手机号正则验证
weixin_56569876的博客
04-13 5486
需求(奇怪的)，使用sql编写一个验证手机号的功能 ​ 中所周知，验证这类东西都是用正则来做的前端或者后台都可以轻松实现这类验证，不如身份证验证，邮箱验证，手机号验证。。。 ​ 但是数据库中又没有正则表达式，该如何实现呢，上网百度了半天也没有找到合适的解决方案，有很多说判断是不是一开头和够不够十 一位的，这似乎没啥用吧，还看到有的帖子说有脚本啥的，看了半天也没看懂。 ​ 自己翻百度琢磨了半天看到这样一个JS验证规则 /^1(3\d|4[5-9]|5[0-35-9]|6[567]|7[0-8]|8\d|9[0
hivesql正则取开头的一个字符
最新发布
11-01
首先，用户的问题是关于在HiveSQL中使用正则表达式提取开头一个字符的方法。他们说："我想查找在HiveSQL中使用正则表达式提取开头...[^2]: hive sql手机号正则表达式剔除不规则数据。 [^3]: hive SQL 中的正则表达式。
数据驱动银行变革：商业银行数据资产管理的技术栈拆解与方法论实战
专注数据驱动领域原创分享。拆解从数据采集、建模分析到业务价值落地的全链路实践，聊决策逻辑、技术工具与场景案例。用通俗语言讲透数据如何赋能业务，与同路人共探数据价值。
09-24 989
文章核心提出 “业务数据化→数据资产化→资产产品化→要素市场化” 四阶段路径，将数据资产分为基础型与服务型，后者以 “数据 + 算法 + 场景” 为核心。强调价值评估是管理支点，运营是生态保障，构建 “管理活动、管理法则、运营支撑” 体系。结合浦发银行实践，展现数据赋能业务、价值变现与生态构建的成效，为同业提供借鉴。
大数据平台账号体系治理：僵尸账户与影子权限的5种高效发现与清理方法
![大数据平台账号体系治理：僵尸账户与影子权限的5种高效发现与清理方法]... # 摘要 ...针对影子权限，构建基于图数据库的权限路径追踪框架，结合机器学习实现异常使
MySQL 正则表达式
aaronthon的博客
02-27 564
一.介绍 正则表达式用来描述或者匹配符合规则的字符串。它的用法和like比较相似，但是它又比like更强大，能够实现一些很特殊的规则匹配；正则表达式需要使用REGEXP命令，匹配上返回"1"匹配不上返回"0"，默认不加条件REGEXP相当于like '%%'。在前面加上NOT相当于NOT LIKE。 命令 说明 ^ 在字符...
电话号码及日期时间提取(正则表达式 C)
10-09
电话号码及日期时间提取(采用正则表达式方式的C语言代码) 支持中国大陆区域通用手机号及固定电话号码提取，简体中文文本网页时间提取。
sql数据处理，使用正则匹配、去重手机号
jiaomongjun的博客
02-09 393
手机号去重，典型案例。
正则表达式匹配手机号码
热门推荐
iastro的专栏
06-04 2万+
匹配手机号码的正则表达式：^1([358][0-9]|4[579]|66|7[0135678]|9[89])[0-9]{8}$目前匹配号段中国电信号段133、149、153、173、177、180、181、189、199中国联通号段130、131、132、145、155、156、166、175、176、185、186中国移动号段134(0-8)、135、136、137、138、139、147、15...
手機號碼和郵箱的SQL正則匹配
m0_37759590的博客
02-20 316
手機號碼和郵箱的SQL正則匹配
PL/SQL选择电话号码的前三位(正则表达式）
qq_43118674的博客
01-22 2782
使用SUBSTR(<列名>,数字,数字)，截取字符串函数/字符串表达式。 例如：查询下图电话号码的前三位 SELECT 'SUBSTR(PHONE,1,3)'PHONE FROM CUSTOMER; 结果如下：
hive 正则表达式验证电话号码
zhuzhen123zhuzhen的博客
12-04 3590
select ‘18901011231’ regexp ‘(13[0-9]|14[5|7]|15[0|1|2|3|5|6|7|8|9]|18[0|1|2|3|5|6|7|8|9])\d{8}$’
SQL SERVER 2005 正则匹配手机号的函数写法
jiebing的专栏
04-24 3207
手机验证的正则我知道是这样： ^(13[0-9]|15[0|3|6|7|8|9]|18[8|9])\d{8}$create function dbo.regexReplace(@str char(11))RETURNS intas begin DECLARE @result INT SET @result = 0 IF (LEFT(@str, 3) IN ('130','131','132',...
2018最新手机号码的正则表达式
myzksky的专栏
04-26 2459
  import java.util.regex.Pattern; /** * 手机号最新正则表达式 * 2018-07-10 */ public class Test { /** * 号码段统计 * 130、131、132、133、134、135、136、137、138、139 * 141、144、145、146、147、148 * ...
正则表达式大全
07-28 411
各式各样的正则表达式参考大全（访问正则表达式实例库）： ^\d+$　　//匹配非负整数（正整数 + 0） 　 //匹配整数 ^\d+(\.\d+)?$　　//匹配非负浮点数（正浮点数 + 0） ^(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*))$　　//匹配正...
hive中手机号正则表达式
03-29
<think>好的，我需要帮助用户找到在Hive中使用正则表达式匹配手机号的方法。首先，我应该回忆Hive中处理正则表达式的常用函数。用户提到的可能是`RLIKE`或者`REGEXP_EXTRACT`之类的函数。 接下来，手机号的格式在中国通常是11位数字，以特定号段开头，比如13x、14x、15x、17x、18x、19x等。所以正则表达式需要覆盖这些情况。常见的模式可能是`^1[3-9]\d{9}$`，但可能需要更精确，比如分开不同的号段，例如`1(3\d|4[5-9]|5[0-3,5-9]|6[2567]|7[0-8]|8\d|9[89])\d{8}$`，不过实际应用中可能简化处理，因为号段会变化。 然后，考虑Hive中如何使用。例如，在`WHERE`子句中使用`RLIKE`进行过滤，或者在`SELECT`中使用`REGEXP_EXTRACT`提取匹配的部分。用户可能需要验证手机号字段是否符合格式，或者提取有效号码。 还要注意Hive正则表达式是基于Java的正则表达式，所以语法要符合Java的标准。比如转义字符可能需要双反斜杠，但在Hive的字符串中可能需要写成四个反斜杠，不过实际测试中可能有所不同，需要确认。 另外，参考用户提供的引用，特别是引用[1]中的正则例子，他们使用了`\d{1,3}`匹配IP地址，类似的，手机号可以用`\d`表示数字。但要注意Hive是否支持`\d`，或者是否需要写成`[0-9]`。可能需要测试确认，但通常Hive支持`\d`。 最后，给出示例用法，比如创建表时指定正则，或者在查询中使用`RLIKE`，并提醒用户注意号段的更新以及数据清洗的其他步骤，如去除空格或特殊字符。可能还需要提到使用`REGEXP_REPLACE`来处理数据中的无关字符。</think>在Hive中使用正则表达式匹配手机号，可以通过以下步骤实现： --- ### 1. 手机号正则表达式设计 中国手机号规则： - 11位数字 - 以1开头 - 第二位为3-9（根据最新号段调整） - 常用正则表达式： ```sql ^1[3-9]\\d{9}$ -- 基础版（覆盖主流号段） ^1(3\\d|4[5-9]|5[0-35-9]|6[2567]|7[0-8]|8\\d|9[89])\\d{8}$ -- 精确版（分号段验证） ``` --- ### 2. Hive正则函数用法 #### (1) 数据验证（WHERE子句） ```sql SELECT * FROM user_table WHERE phone_number RLIKE '^1[3-9]\\d{9}$'; -- 匹配有效手机号[^1] ``` #### (2) 数据提取（SELECT子句） ```sql SELECT REGEXP_EXTRACT(raw_data, '(1[3-9]\\d{9})', 1) AS phone FROM log_table; -- 从文本中提取手机号[^3] ``` #### (3) 数据清洗（CREATE TABLE） ```sql CREATE TABLE clean_data AS SELECT REGEXP_REPLACE(contact_info, '[^0-9]', '') AS purified_phone -- 去除非数字字符 FROM raw_data WHERE contact_info RLIKE '1[3-9]\\d{9}'; -- 过滤有效号码[^1] ``` --- ### 3. 注意事项 1. 转义处理：Hive中正则表达式需要双重转义，如`\\d`表示数字 2. 性能优化：大数据量时建议先进行初步过滤再使用正则 3. 号段更新：定期更新正则表达式以适应新号段（如19x号段） ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值