python程序（1）获取一个网页的所有中文字符

原创

于 2018-10-07 16:03:16 发布 · 1.2k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#python

本文介绍如何使用Python的requests和beautifulsoup库抓取网页HTML并提取其中的所有中文字符。通过get_text方法去除标签，再利用正则表达式筛选中文信息，并存储到文件中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

所有的中文字符都是在html的各种标签之中，因此我们需要拿到html的整个文件。为此我们导入requests库，再者，我们需要去除标签将全部内容进行文本化，此处是中英文都有的文本，为此我们引入beautifulsoup，因为get_text方法使得我们可以获取所有文本。然后我们在用正则表达式获取其中的中文信息再存入文件中。
对于requests和beautifulsoup的包的引入，可以在网上寻找相关内容。
代码如下：
可以通过更改改变匹配信息d来达到滤出各种我们所需要的内容和信息。

import re 
import os
import io
import sys
import requests
from bs4 import BeautifulSoup
#导入一些必要的库
#两个参数，第一个传入网页url，第二个传入要保存的文件名
#这是一个取出网站中所有中文字符的程序
def pureCNtext(url