Regex-Coding: UTF-8 汉字

最新推荐文章于 2023-06-25 18:51:26 发布
原创 最新推荐文章于 2023-06-25 18:51:26 发布 · 1.8k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了配置文件的解析过程，包括设置、语言范围定义和正则表达式的使用，展示了如何通过正则表达式实现文本过滤与匹配。
 1  # -*- coding: utf-8 -*- 
 2  """ 
 3  config.py 
 4   
 5  Created by Manabu Terada, CMScom on 2009-08-08. 
 6  """ 
 7  import re 
 8   
 9  STOP_WORD = [] 
10   
11  ## Setting, adding langs. 
12  rangetable = dict( 
13      # ascii=u"a-zA-Z0-9_", 
14      # digit=u"\d", 
15   
16      # U+AC00-D7AF       Hangul Syllables        ハングル音節文字 
17      hangul=u"\uAC00-\uD7AF", 
18   
19      # U+30A0-30FF       Katakana        片仮名 
20      # U+3040-309F       Hiragana        平仮名 
21      # kana=u"\u3040-\u30FF", 
22      # hiragana=u"\u3040-\u309F\u30FC", 
23      # katakana=u"\u30A0-\u30FF", 
24   
25      # U+4E00-9FFF     CJK Unified Ideographs  CJK統合漢字 
26      # U+3400-4DBF     CJK Unified Ideographs Extension A  CJK統合漢字拡張A 
27      # U+F900-FAFF     CJK Compatibility Ideographs    CJK互換漢字 
28      # ideo=u"\u4E00-\u9FFF\u3400-\u4DBF\uF900-\uFAFF", 
29   
30      cj=u"\u3040-\u30FF\u4E00-\u9FFF\u3400-\u4DBF\uF900-\uFAFF", 
31      thai=u"\u0E00-\u0E7F",  # U+0E00-0E7F Thai タイ文字 
32  ) 
33  ## End of setting. 
34   
35   
36  ## Splitting core. 
37  ps = rangetable.values() 
38  allp = u"".join(ps) 
39  glob_true = u"[^%s]([^%s]|[\*\?])*|" % (allp, allp) + u"|".join([u"[%s]+" % (x, )  for x in ps]) 
40   
41  glob_false = u"[^%s]+|" % allp + u"|".join(u"[%s]+" % x  for x in ps) 
42   
43  rx_all = re.compile(ur"[%s]" % allp, re.UNICODE) 
44  rx_U = re.compile(r"\w+", re.UNICODE) 
45  rxGlob_U = re.compile(r"\w+[\w*?]*", re.UNICODE) 
46   
47  rx_L = re.compile(r"\w+", re.LOCALE) 
48  rxGlob_L = re.compile(r"\w+[\w*?]*", re.LOCALE) 
49   
50  # pattern = re.compile(u"[a-zA-Z0-9_]+|[\uac00-\ud7af]+|[\u4E00-\u9FFF\u3400-\u4dbf\uf900-\ufaff\u3040-\u30ff]+", re.UNICODE) 
51  # pattern_g = re.compile(u"[a-zA-Z0-9_]+[*?]*|[\u4E00-\u9FFF\u3400-\u4dbf\uf900-\ufaff\u3040-\u30ff\uac00-\ud7af]+[*?]*", re.UNICODE) 
52   
53  pattern = re.compile(glob_false, re.UNICODE) 
54  pattern_g = re.compile(glob_true, re.UNICODE) 
55   
Datawhale AI 夏令营-星火大模型驱动阅读理解题库构建挑战赛
2201_75858338的博客
08-09 1132
In [2]In [3]7.下列对文本相关内容和艺术特色的分析鉴赏，不正确的一项是(3分)A.作者在写南国的风物时，用了“那一块一块的稻田”那-堆-堆的房屋”等，语言的节奏感符合火车行进时的动态感。B.作者认为车过潭江的部分是“新宁铁路中的一段最美丽的工程”，既在于这里风景的优美，更在于工程体现了机械的诗意。C.作者认为如果只把“月夜”“ 花朝”“青山” 一类的东西当作写诗的材料，其实是不懂诗，依据是这些材料本身缺乏生命力.
Regex 字符是不是汉字
dazhexuan0219的博客
06-30 165
　　　　　　　　　　　　Regex 字符是不是汉字 一.判断一个字符是不是汉字通常有三种方法： 1.用ASCII码判断 在 ASCII码表中，英文的范围是0-127，而汉字则是大于127 string text = "是不是汉字，ABC"; for (int i = 0; i < text.Length; i++) { ...
c++ regex 替换汉字_汉字变拼音
weixin_42500195的博客
12-27 873
快下班时，同事兴冲冲的跑过来，说江湖救急，帮个忙，给我提供了一份名单，如图，要把单位同事后面列全部加上邮箱，邮箱的前缀为每个人姓名的拼音，十来条数据的话好说，直接输入拼音@公司域名就OK了，但几百条、几千条的话一个个输入可就麻烦了。下面给大家介绍一个快捷方法，几百几千条以上的数据，分分钟就可以搞定啦。如图：解决方法1、 先认识一个函数，getpy()Getpy只有一个参数，就是填入需要转...
【C++】标准库 — 正则表达式 std::regex
Loup&卡普的博客
06-25 4109
从 C++11 起，标准库增加了正则表达式 (RegularEx）std::regex，包含在头文件中。描述字符序列的方法，用于字符（串）的模式/模糊匹配。用途查找 （是否包含，找出来）标识释义seqsequence 表示目标序列rregex 表示模式，即正则表达式mmatch 对象，即 std::match_results 匹配到结果数组mftmatch flag type 匹配标识选项位掩码类型 (BitmaskType)替换（替换内容，替换格式）标识释义。
C#用正则表达式一键Unicode转UTF8(解决LitJson中文问题)
dongfushu7972的博客
09-02 658
txt = Regex.Unescape(txt); 转载于:https://www.cnblogs.com/hont/p/3950588.html
设置utf8编码问题
weixin_33754913的博客
05-10 205
注意：乱码和request的具体实现类有关，现在已经查到的是RequestDispatcher.forward调用前使用的是org.apache.catalina.connector.RequestFacade类而RequestDispatcher.forward调用后使用的是org.apache.catalina.core.ApplicationHttpRequest，他们内部在ParsePar...
请完善下列python脚本，本人暂时无法运行：# -*- coding: utf-8 -*- import datetime import time import os import sys #import xlwt #需要的模块 import xlsxwriter #需要的模块 import pyparsing as pp #字符串分割 path = r'D:\TempData\Filename' def txt2xls(fp, file): if os.path.exists(fp): print(fp + '1') f = open(fp,encoding= 'ISO-8859-1') #with open(fp, 'r', encoding= 'ISO-8859-1') as f: #wb = xlwt.Workbook() #ws1 = wb.add_sheet("Sheet1") fileName = "D:\TempData\Filename" + "\\" + str(file[-40:-4]) + '.xls' print(fileName + '2') wb = xlsxwriter.Workbook(fileName) ws1 = wb.add_worksheet("Sheet1") i = 0 for line in f.readlines(): j = 0 csv_line = pp.commaSeparatedList.copy().addParseAction(pp.tokenMap(lambda s: s.strip('NULL'))) #csv_line = copy().addParseAction(pp.tokenMap(lambda s: s.strip('NULL'))) arrData = csv_line.parseString(line).asList() #for item in arrData: # try: # item = item.strip().decode('utf-8') # except UnicodeDecodeError: # print (i, j, item) # ws1.write(i, j, "NULL") # else: # ws1.write(i, j, item) # j = j + 1 #i = i + 1 f.close() #wb.save("F:\Alice\Template1" + "\\" + str(file[-40:-4]) + '.xls') wb.close() def getfiles(): files = os.listdir(path) for file in files: print (file) print (file[-40:-4]) fp = path + "\\" + file print (fp) txt2xls(fp, file) if __name__ == '__main__': getfiles() print ("处理完毕，按回车键结束程序。")
07-13
with open(txt_path, 'r', encoding='utf-8') as f: lines = f.readlines() # 创建Excel文件和工作表 workbook = xlsxwriter.Workbook(excel_path) worksheet = workbook.add_worksheet() # 设置标题行...
#!/usr/bin/env python3 # -*- coding: utf-8 -*- import os import re import sys import gc import fitz import cv2 import numpy as np import pytesseract from PIL import Image import psutil import logging import tempfile import shutil from pathlib import Path from concurrent.futures import ThreadPoolExecutor, as_completed from tqdm.auto import tqdm from packaging.version import parse as parse_version # ==== 全局配置 ==== class Config: INPUT_ROOT = "/home/jisuo/input_directory" OUTPUT_ROOT = "/home/jisuo/output_directory" TESSERACT_PATH = "/usr/bin/tesseract" TESSDATA_DIR = "/usr/share/tesseract-ocr/5/tessdata/" MAX_WORKERS = min(psutil.cpu_count(logical=False), 6) OCR_PARAMS = "--oem 1 --psm 6" # ==== 中文处理模块 ==== class ChineseProcessor: CONFUSION_MAP = { 'o': '的', 'O': '的', '0': '零', 'l': '一', 'I': '工', '(': '（', ')': '）', '<': '《', '>': '》' } @classmethod def post_process(cls, text): """三级文本校正""" for wrong, rig
05-08
另外，用户可能忽略了中文语境下的常见OCR错误，比如英文字母和数字与汉字的混淆，或者全角半角符号的问题。例如，英文的括号'()'和中文的括号'（）'需要替换，但可能还有其他符号需要处理。还有，用户的正则表达式...
SyntaxError: Non-UTF-8 code starting with '\xbc' in file D:\text\rgzn\rgzn\rgzn.py on line 21, but no encoding declared; see https://peps.python.org/pep-0263/ for details 请按任意键继续. . .
03-22
### 关于 Python 文件中的编码声明 当处理 Python 源码文件时，如果其中包含了非 ASCII 字符（例如中文...以上脚本因为有明确指出采用UTF-8作为其内部使用的文本表示方法所以能够正常运行，并打印出包含中文的结果。
请帮我检查下面的langgraph代码：# !/usr/bin/env python # -*- coding: utf-8 -*- # 版权信息：华为技术有限公司，版本所有(C) 2025-2099 """ 功 能：问题推荐与联想-graph """ import re from langgraph.config import get_stream_writer from langgraph.graph import START, END from langgraph.graph import StateGraph from general_skill.application.sheet_search.node import ( extract_attributes_with_regex, business_search_get_param, llm_get_param, get_condition_prompt, llm_get_conditions, response_builder, process_question ) from general_skill.application.sheet_search.state import SheetSearchState def is_extraction_completed(state: SheetSearchState): """判断是否参数提取完毕""" writer = get_stream_writer() user_input = re.findall(r'[\w\u4e00-\u9fff]+', state.user_input) # 获取中文字符 user_input = "".join(user_input) extract_paras = "" for value in state.paras.values(): value_list = re.findall(r'[\w\u4e00-\u9fff]+', value) # 获取中文字符 extract_paras += "".join(value_list) if len(extract_paras) == len(user_input) or user_input in extract_paras: writer(f"\n正则方法，已经获取到全部参数") return "get_condition_prompt" else: return ["business_search_get_param", "llm_get_param"] def sheet_search_graph(checkpointer): builder = StateGraph(SheetSearchState) builder.add_node("process_question", process_question) builder.add_node("extract_attributes_with_regex", extract_attributes_with_regex) builder.add_node("business_search_get_param", business_search_get_param) builder.add_node("llm_get_param", llm_get_param) builder.add_node("get_condition_prompt", get_condition_prompt) builder.add_node("llm_get_conditions", llm_get_conditions) builder.add_node("response_builder", response_builder) # 添加边，但在每个节点内部判断是否需要执行 builder.add_edge(START, "process_question") builder.add_edge("process_question", "extract_attributes_with_regex") # 优先正则，然后判断其他节点 builder.add_conditional_edges( "extract_attributes_with_regex", is_extraction_completed, ["business_search_get_param", "llm_get_param", "get_condition_prompt"] ) builder.add_edge("business_search_get_param", "get_condition_prompt") builder.add_edge("llm_get_param", "get_condition_prompt") # 获取参数对应的条件值 builder.add_edge("get_condition_prompt", "llm_get_conditions") builder.add_edge("llm_get_conditions", "response_builder") builder.add_edge("response_builder", END) graph = builder.compile(checkpointer=checkpointer) return graph
最新发布
10-26
4. **中文文本处理考虑周全**：使用正则 `[\w\u4e00-\u9fff]+` 提取中英文混合字符，适用于中文用户输入场景。 --- ### ⚠️ **潜在问题与改进建议** #### 1. **`is_extraction_completed` 的判断逻辑可能过于...
C++正则表达式 regex
董国政的博客
12-31 605
有时候我们在开发项目的时候会用到正则表达式， 在PHP中写正则很简单 但是在C++中就变得复杂了点 看了很长时间的MSDN最后终于搞懂了 下面是MSDN链接 https://msdn.microsoft.com/zh-cn/library/bb982727.aspx#include "stdafx.h" #include <iostream> #include <regex> using
c++ 正则匹配std::regex的使用
ding_zhikai的博客
01-30 4200
简单介绍 如何视图 c++ 进行正则匹配。用到 regex 库。涉及关于中文（wchar）的内容。
Regex 常用的正则表达式
weixin_39270642的博客
11-29 508
Regex 常用的正则表达式
C++：Regex正则表达式
yywstc的博客
08-21 802
不会用C++的Regex是硬伤，下面的内容参考《C++程序设计原理与实践》～～～ **************************************************************************************************** 正则表达式语法      正则表达式的特性分成很多种类，下面的内容是perl类型的Regex。 ======
UTF-8 与 UTF-16编码详解
热门推荐
小鲁蛋的博客
08-19 3万+
UTF-16是Unicode字符编码五层次模型的第三层：字符编码表（Character Encoding Form，也称为 "storage format"）的一种实现方式。即把Unicode字符集的抽象码位映射为16位长的整数（即码元， 长度为2 Byte）的序列，用于数据存储或传递。Unicode字符的码位，需要1个或者2个16位长的码元来表示，因此这是一个变长表示。引用维基百科中对于UTF-16编码的解释我们可以知道，UTF-16最少也会用2 Byte来表示一个字符，因此没有办法兼容ASCII编码。
python re.compile() 参数详解
薰珞婷紫小亭子的博客
12-29 3290
python re.compile() compile 函数用于编译正则表达式，生成一个正则表达式（ Pattern ）对象，供 match() 和 search() 这两个函数使用。 语法格式为： re.compile(pattern[, flags]) 参数： pattern : 一个字符串形式的正则表达式 flags : 可选，表示匹配模式，比如忽略大小写，多行模式等，具体参数为： re.I 忽略大小写 re.L 表示特殊字符集 \w, \W, \b, \B, \s, \S 依赖于
python正则表达式笔记
simonGeek的专栏
08-07 1702
从字符串的角度来说，中文不如英文整齐、规范，这是不可避免的现实。本文结合网上资料以及个人经验，以 python 语言为例，稍作总结。欢迎补充或挑错。  一点经验  可以使用 repr()函数查看字串的原始格式。这对于写正则表达式有所帮助。  Python 的 re模块有两个相似的函数：re.match(), re.search 。两个函数的匹配过程完全一致，只是起点不同。match只从字串的
汉字的正则表达式
cuitone的专栏
01-26 1万+
1. 只有字母、数字和下划线且不能以下划线开头和结尾的正则表达式：^(?!_)(?!.*?_$)[a-zA-Z0-9_]+$        只有字母和数字的： ^[a-zA-Z0-9_]+$    2. 至少一个汉字、数字、字母、下划线: "[a-zA-Z0-9_\u4e00-\u9fa5]+"          3. 至少一个汉字的正则表达式："^[\u4e00-\u9fa5]"
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值