系列 —— Python爬虫实战
题目 —— 抓取百度贴吧帖子
语言 —— Python
目标 —— 1、抓取帖子
2、指定是否只看楼主
3、将抓取的内容保存文件
步骤
1、踩点,分析目标URL
此处选取明信片吧的一个帖子:http://tieba.baidu.com/p/3939688645?see_lz=1&pn=1
分析一下:
http:// 代表资源传输使用http协议
tieba.baidu.com 是百度的二级域名,指向百度贴吧的服务器。
/p/3939688645 是服务器某个资源,即这个帖子的地址定位符
see_lz和pn是该URL的两个参数,分别代表了只看楼主和帖子页码,等于1表示该条件为真
所以我们可以把URL分为两部分,一部分为基础部分,一部分为参数部分。
2、页面抓取
编写代码:
=====================================================
# -*- coding:utf-8 -*-
import urllib
import urllib2
import re
class BDTB:
def __init__(self,baseURL,seeLZ):
self.baseURL = baseURL
self.seeLZ = '?see_lz='+str(seeLZ)
def getPage(self,pageNum):
try:
url = self.baseURL+self.seeLZ + '&pn=' + str(pageNum)
request = urllib2.Request(url)
response = urllib2.urlopen(request)
print response.read()
return response
except urllib2.URLError,e:
if hasattr(e,"reason"):
print "fail to connect,reason:",e.reason
return None
baseURL = 'http://tieba.baidu.com/p/3939688645'
bdtb = BDTB(baseURL,1)
bdtb.getPage(1)
=====================================================
结果:运行成功,返回指定页面HTML代码
3、提取相关信息
1)提取标题
所以增加一个获取标题的方法:
=======================================================
def getTitle(self):
page = self.getPage(1)
pattern = re.compile('<h1 class="core_title_txt.*?>(.*?)</h1>',re.S)
result = re.search(pattern,page)
if
题目 —— 抓取百度贴吧帖子
语言 —— Python
目标 —— 1、抓取帖子
2、指定是否只看楼主
3、将抓取的内容保存文件
步骤
1、踩点,分析目标URL
此处选取明信片吧的一个帖子:http://tieba.baidu.com/p/3939688645?see_lz=1&pn=1
分析一下:
http:// 代表资源传输使用http协议
tieba.baidu.com 是百度的二级域名,指向百度贴吧的服务器。
/p/3939688645 是服务器某个资源,即这个帖子的地址定位符
see_lz和pn是该URL的两个参数,分别代表了只看楼主和帖子页码,等于1表示该条件为真
所以我们可以把URL分为两部分,一部分为基础部分,一部分为参数部分。
2、页面抓取
编写代码:
=====================================================
# -*- coding:utf-8 -*-
import urllib
import urllib2
import re
class BDTB:
def __init__(self,baseURL,seeLZ):
self.baseURL = baseURL
self.seeLZ = '?see_lz='+str(seeLZ)
def getPage(self,pageNum):
try:
url = self.baseURL+self.seeLZ + '&pn=' + str(pageNum)
request = urllib2.Request(url)
response = urllib2.urlopen(request)
print response.read()
return response
except urllib2.URLError,e:
if hasattr(e,"reason"):
print "fail to connect,reason:",e.reason
return None
baseURL = 'http://tieba.baidu.com/p/3939688645'
bdtb = BDTB(baseURL,1)
bdtb.getPage(1)
=====================================================
结果:运行成功,返回指定页面HTML代码
3、提取相关信息
1)提取标题
分析源代码可知标题所在代码段如下:
所以增加一个获取标题的方法:
=======================================================
def getTitle(self):
page = self.getPage(1)
pattern = re.compile('<h1 class="core_title_txt.*?>(.*?)</h1>',re.S)
result = re.search(pattern,page)
if