Python爬取多页糗事百科

这次带来的是如何爬取糗事百科 且 写入txt文档

大家都知道，糗事百科可以带给大家很多快乐。
在这里，我们将实现对其内容的爬取，将这些好笑的段子记录下来，可以让我们打发无聊或没网时的时间。

当爬取我们想要的内容时，几乎都离不开这几个步骤：
1、网站地址；
2、获取其源代码；
3、匹配想要的内容

一、网站地址
我们爬取的是糗事百科里的段子，所以糗事百科的网址奉上(https://www.qiushibaike.com/hot/)

二、获取源代码

 request = urllib2.Request(finallyurl,headers = headers)
 response = urllib2.urlopen(request)
 content = response.read().decode('utf-8')

这里用的是urllib库获取的html，若你的python环境是python3以上，可以查看我的上一篇博客(https://blog.youkuaiyun.com/m0_43445668/article/details/83153946)
那里面有python3以上版本获取源代码的步骤

三、匹配内容
通过正则匹配我们所需要的内容，括号里的(.*?)是非贪婪匹配，也是我们一会儿输出的内容
正则很重要，一定要好好学啊
这个正则你也可以自己试着写写哦，锻炼一下自己
这里面re.S的作用是：使 . 匹配包括换行在内的所有字符

re.compile(r'<div.*?author clearfix">.*?</a>.*?h2>(.*?)</h2>.*?'+'<div.*?content">.*?<span>(.*?)</span>(.*?)'+'<div class="stats.*?class="number">(.*?)</i>',re.S)     

有的段子中含有图，在爬取的时候，可以去掉，图太占地方，以下代码就是去图的，可以看下

for item in items:
    haveImg = re.search("img",item[2])
    if not haveImg:
        substance = item[1].replace('<br/>', '\n').replace('\n','')

四、写入TXT文档

fo = open('duanzi.txt','a')
fo.write(end)
fo.close()

五、完整代码

# -*- coding:utf-8 -*-
import urllib2
import re
url = 'https://www.qiushibaike.com/hot/'
user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134'
headers = {'User-Agent': user_agent}
def title(finallyurl):
    try:
        request = urllib2.Request(finallyurl,headers = headers)
        response = urllib2.urlopen(request)
        content = response.read().decode('utf-8')
        pattern = re.compile(r'<div.*?author clearfix">.*?</a>.*?h2>(.*?)</h2>.*?'+'<div.*?content">.*?<span>(.*?)</span>(.*?)'+'<div class="stats.*?class="number">(.*?)</i>',re.S)
        items = re.findall(pattern, content)
        fo = open('duanzi.txt', 'a')
        fo.write("*******************************************第%s页*****************************************" % i)
        for item in items:
            haveImg = re.search("img",item[2])
            if not haveImg:
                substance = item[1].replace('<br/>', '\n').replace('\n','')
                end = '\n' + '发布者：' +item[0].encode('UTF-8') + '内容：' + substance.encode('UTF-8') + '\n' + '点赞数：' +item[3].encode('UTF-8') + '\n'
                # 读取糗事百科的内容写入txt文档
                fo = open('duanzi.txt','a')
                fo.write(end)
                fo.close()
                print "发布人: ", item[0], "内容:", substance, "点赞数:", item[3]
    except urllib2.URLError,e:
        if hasattr(e, "code"):
            print e.code
        if hasattr(e, "reason"):
            print e.reason
    return
#遍历获取多页糗事百科的内容
for i in range(1,25):
    finallyurl = url + 'page/' + str(i) + '/'
    print "第%s页" % i
    title(finallyurl)

---

结果展示