python爬虫爬取NBA贴吧的所有精品贴

最新推荐文章于 2024-02-04 18:26:15 发布

纳尔逊皮卡丘

最新推荐文章于 2024-02-04 18:26:15 发布

阅读量1w

点赞数 1

CC 4.0 BY-SA版权

分类专栏：开发文章标签： python 爬虫贴吧编程 NBA

本文链接：https://blog.youkuaiyun.com/zhaobig/article/details/77198978

首先用直接的方法写，先尝试下能否爬取成功
#coding:utf-8
import urllib2,urllib
import re
'''
1.准备url地址
2.准备请求头
3.创建请求对象
4.发起请求获取第一页源代码，接收响应
5.通过第一页源代码，找到总页数和标题
6.for循环执行总页数次
    6.1 根据页码拼接完整的URL地址
    6.2 创建request对象，发起请求，接受响应
    6.3 根据正则匹配数据，包含用户名和帖子内容
    6.4 去除、替换数据中的html标签
    6.5 写入本地文件
'''
ide = raw_input('请输入要爬取的帖子的编号：')
#1准备url地址
url = 'https://tieba.baidu.com/p/'+ide
#2准备请求头
headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50'
}
#3创建请求对象
request = urllib2.Request(url,headers=headers)
#4发起请求获取第一页源代码，接受响应
response = urllib2.urlopen(request)
# 5.通过第一页源代码，找到总页数和标题
#5.1准备正则
pattern = re.compile(r'<li class="l_reply_num.*?<span.*?<span class="red">(.*?)</span>',re.S)
#5.2查找对应正则的数据
html = response.read()
rs = re.search(pattern,html)
#5.3把字符串页数转换为数字
total = int(rs.group(1))
# 5.4 正则匹配标题
tit_pattern = re.compile(r'<h\d class="core_title_txt.*?>(.*?)</h\d>',re.S)
#5.5从源代码中搜索标题
rs = re.search(tit_pattern,html)
print rs.group(1)
title = rs.group(1)
#拼接文件名
#decode()解码，网页中的字符是utf-8编码，在python中使用的字符串都是Unicode编码，所以需要转换
filename = "%s.txt"%title.decode('utf-8')
#打开文件
file = open(filename,'w')
print '正在爬取%s,共%s页数据'%(title,total)
#6.for循环执行总页数次
for x in range(1,total+1):
    print '正在爬取第%s页数据'%x
    # 6.1根据页码拼接完整的URL地址
    getUrl = url+'?pn=%s'%x
    # 6.2创建request对象，发起请求，接受响应
    request = urllib2.Request(getUrl,headers=headers)
    response = urllib2.urlopen(request)
    html = response.read()
    # 6.3根据正则匹配数据，包含用户名和帖子内容
    con_pattern = re.compile(r'<ul class="p_author.*?<li class="d_name.*?<a.*?>(.*?)</a>.*?<div id="post_content_.*?>(.*?)</div>',re.S)
    rs = re.findall(con_pattern,html)
    # 6.4去除、