python从网页上爬取url信息

DQZQ

于 2013-09-09 15:01:58 发布

阅读量429

点赞数

CC 4.0 BY-SA版权

分类专栏：学习

本文链接：https://blog.youkuaiyun.com/daizhou168/article/details/11478381

学习专栏收录该内容

20 篇文章

订阅专栏

本文分享了一个使用Python进行网页爬取的简单示例。通过引入urllib2和BeautifulSoup库，该示例展示了如何设置请求头来模拟浏览器行为，并解析网页内容获取所有链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

代码：这里没有用正则表达式找到需要的，只是简单的打印了一下。

#!/usr/bin/python
import urllib2
from BeautifulSoup import BeautifulSoup

headers = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}

req = urllib2.Request(url = 'http://topic.youkuaiyun.com/u/20110123/15/F71C5EBB-7704-480B-9379-17A96E920FEE.html',headers = headers)

feeddata = urllib2.urlopen(req).read()

soup=BeautifulSoup(feeddata)

linkpages=soup.findAll('a')

print linkpages