Python网络爬虫之基本项目：爬取网易新闻排行榜

最新推荐文章于 2024-08-03 15:58:00 发布

原创

最新推荐文章于 2024-08-03 15:58:00 发布 · 747 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#python #数据挖掘 #web服务器 #url #爬虫

本文介绍了如何使用Python的urllib2或requests库抓取网易新闻排行榜的页面。通过正则表达式解析一级页面，XPath处理二级页面，最终将获取的新闻标题和链接存储到本地文件。这个项目适合初学者了解网络爬虫的基本流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 最基本的抓取

抓取大多数情况属于get请求，即直接从对方服务器上获取数据。

首先，Python中自带urllib及urllib2这两个模块，基本上能满足一般的页面抓取。另外，requests也是非常有用的包，与此类似的，还有httplib2等等。

Requests：
	import requests
	response = requests.get(url)
	content = requests.get(url).content
	print "response headers:", response.headers
	print "content:", content
Urllib2：
	import urllib2
	response = urllib2.urlopen(url)
	content = urllib2.urlopen(url).read()
	print "response headers:", response.headers
	print "content:", content
Httplib2：
	import httplib2
	http = httplib2.Http()
	response_headers, content = http.request(url, 'GET')
	print "response headers:", response_headers
	print "content:", content

此外，对于带有查询字段的url，get请求一般会将来请求的数据附在url之后，以?分割url和传输数据，多个参数用&连接。

data = {'data1':'XXXXX', 'data2':'XXXXX'}
Requests：data为dict，json
	import requests
	response = requests.get(url=url, params=data)
Urllib2：data为string
	import urllib, urllib2