Regex-Coding: UTF-8 汉字

最新推荐文章于 2023-06-25 18:51:26 发布
最新推荐文章于 2023-06-25 18:51:26 发布
阅读量1.8k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Regex
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/webgeek/article/details/8853517
本文详细介绍了配置文件的解析过程，包括设置、语言范围定义和正则表达式的使用，展示了如何通过正则表达式实现文本过滤与匹配。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 1  # -*- coding: utf-8 -*- 
 2  """ 
 3  config.py 
 4   
 5  Created by Manabu Terada, CMScom on 2009-08-08. 
 6  """ 
 7  import re 
 8   
 9  STOP_WORD = [] 
10   
11  ## Setting, adding langs. 
12  rangetable = dict( 
13      # ascii=u"a-zA-Z0-9_", 
14      # digit=u"\d", 
15   
16      # U+AC00-D7AF       Hangul Syllables        ハングル音節文字 
17      hangul=u"\uAC00-\uD7AF", 
18   
19      # U+30A0-30FF       Katakana        片仮名 
20      # U+3040-309F       Hiragana        平仮名 
21      # kana=u"\u3040-\u30FF", 
22      # hiragana=u"\u3040-\u309F\u30FC", 
23      # katakana=u"\u30A0-\u30FF", 
24   
25      # U+4E00-9FFF     CJK Unified Ideographs  CJK統合漢字 
26      # U+3400-4DBF     CJK Unified Ideographs Extension A  CJK統合漢字拡張A 
27      # U+F900-FAFF     CJK Compatibility Ideographs    CJK互換漢字 
28      # ideo=u"\u4E00-\u9FFF\u3400-\u4DBF\uF900-\uFAFF", 
29   
30      cj=u"\u3040-\u30FF\u4E00-\u9FFF\u3400-\u4DBF\uF900-\uFAFF", 
31      thai=u"\u0E00-\u0E7F",  # U+0E00-0E7F Thai タイ文字 
32  ) 
33  ## End of setting. 
34   
35   
36  ## Splitting core. 
37  ps = rangetable.values() 
38  allp = u"".join(ps) 
39  glob_true = u"[^%s]([^%s]|[\*\?])*|" % (allp, allp) + u"|".join([u"[%s]+" % (x, )  for x in ps]) 
40   
41  glob_false = u"[^%s]+|" % allp + u"|".join(u"[%s]+" % x  for x in ps) 
42   
43  rx_all = re.compile(ur"[%s]" % allp, re.UNICODE) 
44  rx_U = re.compile(r"\w+", re.UNICODE) 
45  rxGlob_U = re.compile(r"\w+[\w*?]*", re.UNICODE) 
46   
47  rx_L = re.compile(r"\w+", re.LOCALE) 
48  rxGlob_L = re.compile(r"\w+[\w*?]*", re.LOCALE) 
49   
50  # pattern = re.compile(u"[a-zA-Z0-9_]+|[\uac00-\ud7af]+|[\u4E00-\u9FFF\u3400-\u4dbf\uf900-\ufaff\u3040-\u30ff]+", re.UNICODE) 
51  # pattern_g = re.compile(u"[a-zA-Z0-9_]+[*?]*|[\u4E00-\u9FFF\u3400-\u4dbf\uf900-\ufaff\u3040-\u30ff\uac00-\ud7af]+[*?]*", re.UNICODE) 
52   
53  pattern = re.compile(glob_false, re.UNICODE) 
54  pattern_g = re.compile(glob_true, re.UNICODE) 
55   
爬虫教程（ 1 ） --- 初级、基础、实践
墨鱼菜鸡
07-11 3486
爬虫教程：https://piaosanlang.gitbooks.io/spiders/content/ 如何入门 Python 爬虫：https://zhuanlan.zhihu.com/p/21479334 静觅 崔庆才的个人博客 Python 爬虫系列：http://cuiqingcai.com/category/technique/pyth...
Python: 'gbk' codec can't encode character '\u30fb' in position 0: illegal multibyte sequence
zoulonglong的博客
11-22 1万+
先上代码： 代码是通过爬去王者荣耀官方网站的数据，然后再写入文件中，获取的英雄，铭文等信息写入时都没有问题，但是写入装备信息时就出现编码的问题了   # -*- coding: utf-8 -*- """ Created on Thu Nov 16 16:25:44 2017 @author: 10183930 """ import requests import csv import...
Regex 字符是不是汉字
dazhexuan0219的博客
06-30 150
　　　　　　　　　　　　Regex 字符是不是汉字 一.判断一个字符是不是汉字通常有三种方法： 1.用ASCII码判断 在 ASCII码表中，英文的范围是0-127，而汉字则是大于127 string text = "是不是汉字，ABC"; for (int i = 0; i < text.Length; i++) { ...
c++ regex 替换汉字_汉字变拼音
weixin_42500195的博客
12-27 845
快下班时，同事兴冲冲的跑过来，说江湖救急，帮个忙，给我提供了一份名单，如图，要把单位同事后面列全部加上邮箱，邮箱的前缀为每个人姓名的拼音，十来条数据的话好说，直接输入拼音@公司域名就OK了，但几百条、几千条的话一个个输入可就麻烦了。下面给大家介绍一个快捷方法，几百几千条以上的数据，分分钟就可以搞定啦。如图：解决方法1、 先认识一个函数，getpy()Getpy只有一个参数，就是填入需要转...
【C++】标准库 — 正则表达式 std::regex
Loup&卡普的博客
06-25 3776
从 C++11 起，标准库增加了正则表达式 (RegularEx）std::regex，包含在头文件中。描述字符序列的方法，用于字符（串）的模式/模糊匹配。用途查找 （是否包含，找出来）标识释义seqsequence 表示目标序列rregex 表示模式，即正则表达式mmatch 对象，即 std::match_results 匹配到结果数组mftmatch flag type 匹配标识选项位掩码类型 (BitmaskType)替换（替换内容，替换格式）标识释义。
C#用正则表达式一键Unicode转UTF8(解决LitJson中文问题)
dongfushu7972的博客
09-02 643
txt = Regex.Unescape(txt); 转载于:https://www.cnblogs.com/hont/p/3950588.html
设置utf8编码问题
weixin_33754913的博客
05-10 189
注意：乱码和request的具体实现类有关，现在已经查到的是RequestDispatcher.forward调用前使用的是org.apache.catalina.connector.RequestFacade类而RequestDispatcher.forward调用后使用的是org.apache.catalina.core.ApplicationHttpRequest，他们内部在ParsePar...
SyntaxError: Non-UTF-8 code starting with '\xbc' in file D:\text\rgzn\rgzn\rgzn.py on line 21, but no encoding declared; see https://peps.python.org/pep-0263/ for details 请按任意键继续. . .
最新发布
03-22
### 关于 Python 文件中的编码声明 当处理 Python 源码文件时，如果其中包含了非 ASCII 字符（例如中文...以上脚本因为有明确指出采用UTF-8作为其内部使用的文本表示方法所以能够正常运行，并打印出包含中文的结果。
优化代码：#!/usr/bin/env python3 # -*- coding: utf-8 -*- import os import re import sys import time import requests from tqdm import tqdm from bs4 import BeautifulSoup from urllib.parse import urljoin def download_vr_images( target_url, save_dir='/Users/sunhui/Downloads/tu', max_retry=3, timeout=30, concurrency=5 ): """ 全景图片下载核心函数 参数： - target_url: 目标网页URL - save_dir: 存储路径（默认：用户下载目录） - max_retry: 最大重试次数 - timeout: 请求超时时间（秒） - concurrency: 并发下载数 """ # ==================== 路径验证 ==================== if not os.path.isabs(save_dir): raise ValueError(f"路径必须为绝对路径：{save_dir}") illegal_chars = re.findall(r'[<>:"|?*]', save_dir) if illegal_chars: raise ValueError(f"路径包含非法字符：{''.join(set(illegal_chars))}") try: os.makedirs(save_dir, exist_ok=True) test_file = os.path.join(save_dir, '__perm_test.tmp') with open(test_file, 'w') as f: f.write('permission_test') os.remove(test_file) except Exception as e: raise RuntimeError(f"路径初始化失败: {str(e)}") # ==================== 网络请求 ==================== headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36', 'Referer': target_url } try: response = requests.get(target_url, headers=headers, timeout=timeout) response.raise_for_status() except requests.exceptions.RequestException as e: raise ConnectionError(f"网页请求失败: {str(e)}") # ==================== 内容解析 ==================== soup = BeautifulSoup(response.text, 'html.parser') # 两种图片链接提取策略 img_links = [] # 策略1：通过CSS类名匹配 vr_images = soup.select('div.vr-container img.full-res') # 策略2：通过正则表达式匹配 pattern = re.compile(r'(https?://\S+?\.(jpg|png|webp))', re.IGNORECASE) fallback_links = pattern.findall(response.text) if vr_images: for img in vr_images: img_url = img.get('data-src') or img.get('src') if img_url: img_links.append(urljoin(target_url, img_url)) elif fallback_links: img_links = [urljoin(target_url, link[0]) for link in fallback_links] else: raise ValueError("未检测到有效图片链接") # ==================== 下载逻辑 ==================== success_count = 0 for idx, img_url in enumerate(tqdm(img_links, desc="下载进度", unit="file"), 1): file_name = f"vr_image_{time.strftime('%Y%m%d%H%M%S')}_{idx}.{img_url.split('.')[-1]}" save_path = os.path.join(save_dir, file_name) for retry in range(max_retry + 1): try: with requests.get(img_url, stream=True, headers=headers, timeout=timeout) as r: r.raise_for_status() total_size = int(r.headers.get('content-length', 0)) with open(save_path, 'wb') as f: for chunk in r.iter_content(chunk_size=8192): if chunk: f.write(chunk) success_count += 1 break except Exception as e: if retry == max_retry: print(f"\n⚠️ 文件下载失败：{img_url} | 错误：{str(e)}") else: time.sleep(2 ** retry) # ==================== 结果报告 ==================== print(f"\n✅ 下载完成 | 成功：{success_count}/{len(img_links)}") print(f"📁 存储路径：{save_dir}") if __name__ == "__main__": # 使用示例 try: download_vr_images( target_url="https://vr.justeasy.cn/view/1709b5704a0u64f4-1711545753.html", save_dir="/Users/sunhui/Downloads/tu" ) except Exception as e: print(f"❌ 运行错误：{str(e)}") sys.exit(1)
03-14
另外，代码里有注释的中文，可能需要注意编码问题，不过脚本开头已经指定了utf-8，应该没问题。还有，函数参数中的concurrency没有实际使用，需要确认是否应该实现并发下载，或者移除该参数。 还有可能的安全问题，...
python3正则提取字符串里的中文实例
12-31
# -*- coding: utf-8 -*- import re #过滤掉除了中文以外的字符 str = hello,world!!%[545]你好234世界。。。 str = re.sub([A-Za-z0-9\!\%\[\]\,\。], , str) print(str) #提取字符串里的中文，返回数组 pattern=[\...
C++正则表达式 regex
董国政的博客
12-31 569
有时候我们在开发项目的时候会用到正则表达式， 在PHP中写正则很简单 但是在C++中就变得复杂了点 看了很长时间的MSDN最后终于搞懂了 下面是MSDN链接 https://msdn.microsoft.com/zh-cn/library/bb982727.aspx#include "stdafx.h" #include <iostream> #include <regex> using
c++ 正则匹配std::regex的使用
ding_zhikai的博客
01-30 4080
简单介绍 如何视图 c++ 进行正则匹配。用到 regex 库。涉及关于中文（wchar）的内容。
Regex 常用的正则表达式
weixin_39270642的博客
11-29 490
Regex 常用的正则表达式
C++：Regex正则表达式
yywstc的博客
08-21 772
不会用C++的Regex是硬伤，下面的内容参考《C++程序设计原理与实践》～～～ **************************************************************************************************** 正则表达式语法      正则表达式的特性分成很多种类，下面的内容是perl类型的Regex。 ======
UTF-8 与 UTF-16编码详解
热门推荐
小鲁蛋的博客
08-19 3万+
UTF-16是Unicode字符编码五层次模型的第三层：字符编码表（Character Encoding Form，也称为 "storage format"）的一种实现方式。即把Unicode字符集的抽象码位映射为16位长的整数（即码元， 长度为2 Byte）的序列，用于数据存储或传递。Unicode字符的码位，需要1个或者2个16位长的码元来表示，因此这是一个变长表示。引用维基百科中对于UTF-16编码的解释我们可以知道，UTF-16最少也会用2 Byte来表示一个字符，因此没有办法兼容ASCII编码。
python re.compile() 参数详解
薰珞婷紫小亭子的博客
12-29 3222
python re.compile() compile 函数用于编译正则表达式，生成一个正则表达式（ Pattern ）对象，供 match() 和 search() 这两个函数使用。 语法格式为： re.compile(pattern[, flags]) 参数： pattern : 一个字符串形式的正则表达式 flags : 可选，表示匹配模式，比如忽略大小写，多行模式等，具体参数为： re.I 忽略大小写 re.L 表示特殊字符集 \w, \W, \b, \B, \s, \S 依赖于
python正则表达式笔记
simonGeek的专栏
08-07 1676
从字符串的角度来说，中文不如英文整齐、规范，这是不可避免的现实。本文结合网上资料以及个人经验，以 python 语言为例，稍作总结。欢迎补充或挑错。  一点经验  可以使用 repr()函数查看字串的原始格式。这对于写正则表达式有所帮助。  Python 的 re模块有两个相似的函数：re.match(), re.search 。两个函数的匹配过程完全一致，只是起点不同。match只从字串的
汉字的正则表达式
cuitone的专栏
01-26 1万+
1. 只有字母、数字和下划线且不能以下划线开头和结尾的正则表达式：^(?!_)(?!.*?_$)[a-zA-Z0-9_]+$        只有字母和数字的： ^[a-zA-Z0-9_]+$    2. 至少一个汉字、数字、字母、下划线: "[a-zA-Z0-9_\u4e00-\u9fa5]+"          3. 至少一个汉字的正则表达式："^[\u4e00-\u9fa5]"
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值