Python中的正则表达式匹配中文问题

最新推荐文章于 2024-11-03 10:57:15 发布

dao123mao

最新推荐文章于 2024-11-03 10:57:15 发布

阅读量2.8k

点赞数

CC 4.0 BY-SA版权

分类专栏： python 文章标签：正则表达式 python encoding 出版 date import

本文链接：https://blog.youkuaiyun.com/dao123mao/article/details/5408521

python 专栏收录该内容

31 篇文章

订阅专栏

本文介绍了在Python中使用正则表达式匹配中文时，需要注意pattern的编码必须和待匹配字符串一致。通过一个实例展示了如何读取gb2312编码的HTML文件，并使用chardet库检测编码，然后对正则表达式进行相应编码转换，成功提取出ISBN、出版日期等信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

python中正则表达式匹配中文是没有问题的，但是其中有一个关键点，那就是pattern中的中文编码必须和要匹配字符串保持一致；下面使用一个例子来说明：

# -*- coding: utf-8 -*-

'''

test.html内容为：

<div id='author_' >作　　者：（美）埃克尔著，陈昊鹏译</div>
                        <div id='publisher_'>出版社：机械工业出版社</div>
                        <ul >
                            <li>出版时间： 2007-6-1</li>
                            <li>字　　数： </li>
                            <li>版　　次： 1</li>
                            <li>页　　数： 880</li>
                            <li>印刷时间： 2007-6-1</li>
                            <li>开　　本： </li>
                            <li>印　　次： </li>
                            <li>纸　　张：胶版纸</li>
                            <li>I S B N    ： 9787111213826</li>
                            <li>包　　装：平装</li>
                        </ul>

'''

import re

import chardet #用于检测str的编码

#读文件

def readContent():

f = file(r'/home/fzhong/test.html','r')

content = f.read()

f.close()

return content

#检测str的编码

def checkEncoding(str):

return chardet.detect(str)['encoding']

def extractAttrValue(regx):
        p = re.compile(regx)
        attrValue = p.search(self.dataStr).group(1).strip()
        return attrValue

if __name__ == '__main__':

content = readContent()

#因为这里的test.html为gb2312编码，所以这里encoding应该为gb2312

encoding = checkEncoding(content)

        p_isbn = u'<li>I S B N    ：(.*?)</li>'.encode(encoding )
        isbn = extractAttrValue(p_isbn)

        #pattern为unicode，转为和content一样的编码，然后执行匹配

        p_pub_date = u'<li>出版时间：(.*)</li>'.encode(encoding )
        pubDate = extractAttrValue(p_pub_date)

        p_edition_num = u'<li>版　　次：(.*?)</li>'.encode(encoding )
        editionNum = extractAttrValue(p_edition_num)

        p_page_num = u'<li>页　　数：(.*?)</li>'.encode(encoding )
        pageNum = extractAttrValue(p_page_num)

        p_author = ur'作　　者：(.*?)</div>'.encode(encoding )
        author = extractAttrValue(p_author)

        p_publisher = ur'出版社：(.*?)</div>'.encode(encoding )

publisher = extractAttrValue(p_publisher)

这里有几个关键点：

p_pub_date = u'<li>出版时间：(.*)</li>'.encode(encoding )

执行一个unicode到encoding编码的转换；

当然在上面的脚本中也可以这样：

p_pub_date = '<li>出版时间：(.*)</li>'.decode('UTF-8').encode(encoding )