爬虫提取贴吧楼主发布的内容 beatifulsoup和正则配合

最新推荐文章于 2024-04-24 08:26:26 发布

zhouruiwei96

最新推荐文章于 2024-04-24 08:26:26 发布

阅读量583

点赞数 1

CC 4.0 BY-SA版权

分类专栏：爬虫文章标签：爬虫 python 正则

本文链接：https://blog.youkuaiyun.com/zhouruiwei96/article/details/51108594

爬虫专栏收录该内容

0 篇文章

订阅专栏

本文介绍了一种使用Python爬取百度贴吧帖子的方法。通过输入帖子的URL，利用urllib和BeautifulSoup库抓取帖子的所有页面内容，并将其保存为本地文本文件。此过程包括获取帖子总页数、提取帖子标题及每页的具体内容。

直接贴源码，过程挺简单，bs4比正则好用多了

#-*- coding: utf-8 -*-

import urllib,re,os
from bs4 import BeautifulSoup

tiezi = raw_input('请输入帖子地址：')
def geturl(i):
    url =tiezi+'?see_lz=1'+'&pn='+str(i)
    req = urllib.urlopen(url).read().decode('utf-8')
    return req

def getpagenumber(req):
    pat3 = re.compile(r'<span class="red">(\d*)</span>')
    number = pat3.findall(req)
    return number

def gettitle(req):
    pat1 = re.compile(r'<title>(.*?)</title>')
    longtitle =pat1.findall(req)[0].split('_')
    title = '-'.join(longtitle[:-2])
    return title


def getcontent(req):
    soup = BeautifulSoup(req)
    contents = soup.findAll("div",{"id":re.compile("post_content.*")})
    return contents

tempreq = geturl(1)
number = getpagenumber(tempreq)[0]
print u"楼主一共发布了"+number+u"页的帖子"
title = gettitle(tempreq)
f = open(title+'.txt','w')
for i in range(int(number)):
    print u"正在读取第"+str(i+1)+"页的内容"
    req = geturl(i+1)
    txt = getcontent(req)
    for eachitem in txt:
        f.write(eachitem.get_text())
        f.write("\n")
f.close()
print u"已经保存到本地"+os.getcwd()