爬虫抓取

原创于 2016-07-26 20:04:39 发布 · 390 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫

【抓取】专栏收录该内容

3 篇文章

订阅专栏

本文介绍了使用Python进行网页爬取的两种方法。一种是简单的直接获取网页内容，另一种则更为复杂，涉及使用CookieJar管理和设置User-Agent等头部信息以模拟浏览器行为。通过这两种方法，读者可以了解到基本的网页爬取技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬虫抓取的方式有两种：

1.简单

import urllib2
dir(urllib2)
urllib2.urlopen(url)
html=responce.read()

2.复杂

import urllib2
def make_opener(headers=None):
    cookie=cookielib.CookieJar()           
    opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie),urllib2.HTTPHandler)
    if headers:
         opener.addheades=headers
    else:
         opener.addheaders=[('User-Agent', 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; QQDownload 718)'),('Accept', 'text   /html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8')]
    return opener
opener=make_opener()
responce=opener.open(url,timeout=10)
html=responce.read()