python3利用正则表达式爬取内涵段子

最新推荐文章于 2020-12-10 17:52:01 发布

原创最新推荐文章于 2020-12-10 17:52:01 发布 · 1.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python爬虫 #爬虫 #爬内涵段子 #正则表达式爬虫

Python 同时被 3 个专栏收录

59 篇文章

订阅专栏

python3.6写爬虫——从入门到精通

9 篇文章

订阅专栏

python爬虫

7 篇文章

订阅专栏

本文介绍了一种使用正则表达式从特定网站抓取文本内容的爬虫实现方法。通过编写Python脚本，该方法能够从指定网页上匹配并提取段子文本，再将其保存到本地文件中。

似乎正则在爬虫中用的不是很广泛，但是也是基本功需要我们去掌握。
先将内涵段子网页爬取下来，之后利用正则进行匹配，匹配完成后将匹配的段子写入文本文档内。代码如下：

# -*- coding:utf-8 -*-
from urllib import request as urllib2
import re
# 利用正则表达式爬取内涵段子
url = r'http://www.neihanpa.com/article/list_5_{}.html'

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0',
}
file_name = '内涵段子.txt'
for page in range(2):
# 2表示页数，可以自行调整
    fullurl = url.format(str(page+1))
    request = urllib2.Request(url=fullurl, headers=headers)
    response = urllib2.urlopen(request)
    html = response.read().decode('gbk')
    # re.S 如果没有re.S 则是只匹配一行有没有符合规则的字符串，如果没有则下一行重新匹配
    # 如果加上re.S 则是将所有的字符串作为一个整体进行匹配
    pattern = re.compile(r'<div\sclass="f18 mb20">(.*?)</div>',re.S)
    duanzis = pattern.findall(html)
    for duanzi in duanzis:
        duanzi = duanzi.replace('<p>','').replace('</p>','').replace('<br />','\n').replace('&ldquo;','').replace('&rdquo','').replace('&hellip;','')
        try:
            # 将爬取的段子写入文件
            file = open(file_name,'a',encoding='utf-8')
            file.write('\n'.join(duanzi.split()))
            file.close()
        except OSError as e:
            print(e)