python爬虫之爬取腾讯新闻

原文链接:http://www.nicemxp.com/articles/11

本文目的抓取腾讯新闻首页中要闻页签下的所有新闻标题和链接。

如图:

地址:http://news.qq.com/top_index.shtml

要闻页签中一般会有几个分页:

所以要爬取要闻下的所有新闻标题和链接就需要一个一个分页的爬取。下面开始写代码。

首先获取腾讯新闻页面内容,写一个获取页面的接口。

先导入本次抓取所必备的库

 

# -*- coding:utf-8 -*-

#Python抓取网页必备的库
import urllib 
import urllib2
#正则表达式
import re
#随机数生成
import random
#gzip
import gzip
from StringIO import StringIO

构建请求头部,请求页面

 

#构建页面请求的头部
headers = {'User-Agent':user_agent, "Referer":re
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值