Python对unicode文件的读写和使用正则表达式

关注

原创最新推荐文章于 2026-03-31 03:17:26 发布 1.1w 阅读 AI 写同款· GEO 优化 ›

Python字符编码问题汇总在 Python 中，re 模块提供了正则表达式相关的函数和方法，如 re.compile()、re.match()、re.findall() 等等。在使用 open() 函数读取文件时，我们需要指定文件的编码方式。比如，如果文件是以 utf-8 编码保存的，那么我们需要用 utf-8 的方式打开文件。如果我们要将一个 Unicode 字符串写入文件，可以先将其转换为字节串，再以对应的编码方式写入文件。当我们需要读取一个文件时，需要指定正确的文件编码方式，否则会出现乱码等问题。希望对大家有所帮助！阅读详情

之前用UltraEdit的正则表达式（RE）处理Unicode的文件非常强大，但是仅限于替换（就是把匹配的项目替换成某一个指定的内容）。而在指定RE时比较新的版本已经能够指定是UltraEdit模式，Unix模式，还是Perl模式。因为Python支持的RE就是Perl模式，所以就想着用Python处理就非常灵活，经过一番折腾后就有了这篇简单的分享。

目的：找出所有每句话中直到出现文字前的所有控制符（用<>表示），该文本是unicode编码。

No.0 ---------------------------------- <E102 0000><E1D1><E100 0001 0003 0004 0005>我们<E100 0001> <E102 0000><E1D1><E100 0001>我们<E100 0001> <E102 0000><E1D1><E100 0001>今天<E100 0001> <E102 0000><E1D1><E100 0001>晚上<E100 0001> <E102 0000><E1D1><E100 0001>有坤宁宫<E100 0001> <E102 0000><E1D1><E100 0001>反对反对<E100 0001> <E102 0000><E1D1><E100 0001> ----------------------------------

解决办法： 活用python的RE和codec模块

import re import codecs #打开文本，告诉解码器是unicode编码 file_object = codecs.open('text.txt', 'r', 'utf-16') try: all_the_text = file_object.readlines( ) finally: file_object.close( ) #我们的正则表达式，也需要是unicode pattern=u"(^(<E/w+(/s/w+)*>)+)" try: #创建一个unicode编码的文件 unicode_file = codecs.open('unicode_out.txt', 'w', 'utf-16') for each_text in all_the_text: ret = re.findall(pattern, each_text) if len(ret) > 0: unicode_file.write(ret[0][0]) unicode_file.write(u"/r/n") finally: unicode_file.close()

pattern=u"(^(<E/w+(/s/w+)*>)+)"，就是我写的正则表达式，拆分一下就是（/w，匹配所有的字母和数字，/s，匹配空格等特殊字符）

<E/w+(/s/w+)*>，匹配 <E102 0000>， <E1D1>，<E100 0001 0003 0004 0005>等情况

^(<E/w+(/s/w+)*>)+，匹配所有从字符串最开始到遇到非控制码之前的所有的控制码

这里要注意下，如果要让python获得所有的匹配结果，必须再加一层大括号。

结果：