Python之网页爬虫urllib模块

最新推荐文章于 2023-10-19 22:13:43 发布
原创 最新推荐文章于 2023-10-19 22:13:43 发布 · 338 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了Python中的网页爬虫urllib模块，包括爬虫的理解、网页抓取的基本方法、反爬虫策略（如伪装成浏览器和使用IP代理）、保存及处理cookie信息以及常见异常处理。还讲解了Url解析的使用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

###########网页爬虫###########

 

 

## 对于爬虫的理解

 

## 何为爬虫

通俗来说就是通过爬虫的一系类方法来获取一个网页上相关的信息(如 图片、url、视频、文件等)保存在本地

 

##浏览网页时历经的过程

浏览器(请求request) ---输入URL地址(如(http://www.baidu.com/index.html file:///mnt  ftp://172.25.254.40等)

http协议确定，www.baidu.com访问的域名确定 --- DNS服务器解析到IP地址---确定要访问的内容后将获取的页面内容返回给浏览器(响应过程)

 

## 爬去网页

 

## 基本方法

from  urllib import  request
from urllib.error import URLError

from urllib import request
from urllib.error import URLError

try:
    response = request.urlopen('http://www.baidu.com', timeout=10)
    content = response.read().decode('utf-8')
    print(content)
except URLError as e:
    print(e.reason)

 

## 使用Requset对象 (可以添加其它头部信息)

from urllib import request
from urllib.error import URLError

url = 'http://www.cbrc.gov.cn/chinese/jrjg/index.html'
# 头部信息的返回值时一个字典 我们通过网页的审查元素来获取并保存在一个字典当中
headers = {'User-Agent':"Mozilla/5.0 (X11; Linux x86_64; rv:45.0) Gecko/20100101 Firefox/45.0"}
try:
    # 实例化request对象，可以自定义请求的头部信息
    """
    class Request:

    def __init__(self, url, data=None, headers={},
                 origin_req_host=None, unverifiable=False,
                 method=None):
    """
    req = request.Request(url, headers=headers)
    # urlopen不仅可以传递url地址，也可以传递request对象
    content = request.urlopen(req).read().decode('utf-8')
    print(content)
except URLError as e:
    print(e.reason)
else:
    print('success')

 

## 后续添加头部信息

from urllib import request
from urllib.error import URLError

url = 'http://www.cbrc.gov.cn/chinese/jrjg/index.html'
user_agent = "Mozilla/5.0 (X11; Linux x86_64; rv:45.0) Gecko/20100101 Firefox/45.0"
# # 头部信息的返回值时一个字典 我们通过网页的审查元素来获取并保存在一个字典当中
# headers = {'User-Agent':"Mozilla/5.0 (X11; Linux x86_64; rv:45.0) Gecko/20100101 Firefox/45.0"}
# try:
#     # 实例化request对象，可以自定义请求的头部信息
#     """
#     class Request:
#
#     def __init__(self, url, data=None, headers={},
#                  origin_req_host=None, unverifiable=False,
#                  method=None):
#     """
#     req = request.Request(url, headers=headers)
#     # urlopen不仅可以传递url地址，也可以传递request对象
#     content = request.urlopen(req).read().decode('utf-8')
#     print(content)
# except URLError as e:
#     print(e.reason)
# else:
#     print('success')
try:
    req=request.Request(url)
    """
    def add_header(self, key, val):
        # useful for something like authentication
        self.headers[key.capitalize()] = val
    """
    req.add_header('User_Agent',user_agent)
    content = request.urlopen(req).read().decode('utf-8')
    print(content)
except URLError as e:
    print(e.reason)
else:
    print('success')

 

 

## 反爬虫对应策略

 

## 伪装程浏览器 即同上添加浏览器头部信息

 1.Android
    Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166    Safari/535.19
    Mozilla/5.0 (Linux; U; Android 4.0.4; en-gb; GT-I9300 Build/IMM76D) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30
    Mozilla/5.0 (Linux; U; Android 2.2; en-gb; GT-P1000 Build/FROYO) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1


    2.Firefox

    Mozilla/5.0 (Windows NT 6.2; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0
    Mozilla/5.0 (Android; Mobile; rv:14.0) Gecko/14.0 Firefox/14.0


    3.Google Chrome

    Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36
    Mozilla/5.0 (Linux; Android 4.0.4; Galaxy Nexus Build/IMM76B) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.133 Mobile Safari/535.19


    4.iOS
    Mozilla/5.0 (iPad; CPU OS 5_0 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9A334 Safari/7534.48.3

 

 

## IP代理

为什么要用代理IP

当抓取网站时， 程序的运行速度很快， 如果通过爬虫去访问， 一个固定的ip访问频率很高，
网站如果做反爬虫策略， 那么就会封掉ip

如何解决？
    - 设置延迟；time.sleep(random.randint(1,5))
    - 使用IP代理， 让其他IP代替你的IP访问； 登陆网站(http://www.xicidaili.com/)

如何实现步骤?
    1). 调用urllib.request.ProxyHandler(proxies=None)；  --- 类似理解为Request对象
    2). 调用Opener--- 类似与urlopen， 这个是定制的
    3). 安装Opener
    4). 代理IP的选择

from urllib import request
from urllib.error import URLError

url = 'http://httpbin.org/get'
# 将需要伪装的IP地址放在一个字典里
proxy = {'http': '110.40.13.5:80', 'https': '183.129.207.74:14823'}
user_agent = "Mozilla/5.0 (X11; Linux x86_64; rv:45.0) Gecko/20100101 Firefox/45.0"
# 1).调用urllib.request.ProxyHandler(proxies=None)；  --- 类似理解为Request对象
proxy_support = request.ProxyHandler(proxy)
# 2).调用Opener - -- 类似与urlopen， 这个是定制的
opener = request.build_opener(proxy_support)
# 伪装浏览器
opener.addheaders = [('User-Agent', user_agent)]
# 安装Opener
request.install_opener(opener)
# 代理IP的选择
response = request.urlopen(url)
content = response.read().decode('utf-8')
print(content)

 

 

 

## 保存cookie信息

 

何为cookie信息？

cookie（储存在用户本地终端上的数据），指某些网站为了辨别用户身份、进行 session 跟踪而储存在用户本地终端上的数据。

只有登陆之后才能访问某个页面；进行一个会话跟踪， 将用户的相关信息包括用户名等保存到本地终端.

cookie:"BAIDUID=E0A0BD91DBF7E9279D4E99A384ECE48C:FG=1; BIDUPSID=E0A0BD91DBF7E9279D4E99A384ECE48C; PSTM=1523083153; BD_UPN=133352; pgv_pvi=4895693824; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; delPer=0; BD_HOME=0; H_PS_PSSID=1465_27213_21113_20930; BD_CK_SAM=1; PSINO=1; H_PS_645EC=21aadTAcLlASAsdA66DzYMSv%2BDOn3p2CCCffSHVxjXiIOyNx3Owlj6%2B3Bbs; pgv_si=s3991780352"

 

## 获取cookie信息

from http import cookiejar
from urllib.request import  HTTPCookieProcessor
from urllib import  request

from http import cookiejar
from urllib.request import HTTPCookieProcessor
from urllib import request
#  如何将Cookie信息保存到变量中， 或者文件中;
#  声明一个CookieJar ---> FileCookieJar --> MozillaCookie 这是格式
# 实例化对象
cookie = cookiejar.CookieJar()
# 利用urllib.request和HTTPCookieProcessor创建一个cookie处理器
handler = HTTPCookieProcessor(cookie)
# 通过cookieHandler创建opener
# 默认的opener就是urlopener
opener = request.build_opener(handler)
# 打开url页面 open()方法
response = opener.open('http://www.baidu.com')
# 打印页面里面的cookie信息
print(cookie)
for item in cookie:
    print(item)

 

 

## 将cookie信息以指定格式保存在文件中

from http import cookiejar
from urllib.request import HTTPCookieProcessor
from urllib import request

# 设置保存的文件名
cookieFile = 'cookie.txt'
# 声明一个MozillaCookie，用来保存cookie信息并且写入文件
cookie = cookiejar.MozillaCookieJar(filename=cookieFile)

handler = request.HTTPCookieProcessor(cookie)
opener = request.build_opener(handler)
response = opener.open('http://www.baidu.com')
print(type(cookie))

# ignore_discard, 即使cookie信息将要被丢弃。 也要把它保存到文件中;
# ignore_expires, 如果在文件中的cookie已经存在， 就覆盖原文件写入;
cookie.save(ignore_discard=True, ignore_expires=True)

 

## 从文件中获取cookie信息并访问网页

from http import cookiejar
from urllib.request import HTTPCookieProcessor
from urllib import request

# 指定cookie文件存在的位置
cookiefile = 'cookie.txt'
# 声明一个MozillaCookie用来保存cookie并写入文件，读取cookie信息
cookie = cookiejar.MozillaCookieJar()
# 从文件中读取cookie内容
cookie.load(filename=cookiefile)

handler = HTTPCookieProcessor(cookie)
opener = request.build_opener(handler)
response = opener.open('http://www.baidu.com')
print(response.read().decode('utf-8'))

 

 

 

## urllib常见的异常处理

 

- 异常
     exception urllib.error.URLError
     exception urllib.error.HTTPError
     exception urllib.error.ContentTooShortError(msg, content)

# 常见超时异常

from urllib import request, error
import  socket
#
try:
    url = 'https://www.baidu.com'
    response = request.urlopen(url, timeout=0.01)
    print(response.read().decode('utf-8'))
except error.HTTPError as e:
    print(e.reason, e.code, e.headers, sep='\n')
except error.URLError as e:
    print(e.reason)
    if isinstance(e.reason, socket.timeout):
        print("超时")
else:
    print("成功")

 

 

 

## Url解析

 

#   urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)
# - 功能: 将url分为6部分， 返回一个元组；
#   协议, 服务器的地址(ip:port), 文件路径， 访问的页面

 

from urllib import parse

url = 'https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=0&rsv_idx=1&tn=baidu&wd=hello&rsv_pq=d0f841b10001fab6&rsv_t=2d43603JgfgVkvPtTiNX%2FIYssE6lWfmSKxVCtgi0Ix5w1mnjks2eEMG%2F0Gw&rqlang=cn&rsv_enter=1&rsv_sug3=6&rsv_sug1=4&rsv_sug7=101&rsv_sug2=0&inputT=838&rsv_sug4=1460'

print(parse.urlparse(url))
print(type(parse.urlparse(url)))
parsed = parse.urlparse(url)
print(parsed.netloc)
print(parsed.path)
print(parsed.scheme)

 

## urlunparse

from urllib import parse

url = 'https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=0&rsv_idx=1&tn=baidu&wd=hello&rsv_pq=d0f841b10001fab6&rsv_t=2d43603JgfgVkvPtTiNX%2FIYssE6lWfmSKxVCtgi0Ix5w1mnjks2eEMG%2F0Gw&rqlang=cn&rsv_enter=1&rsv_sug3=6&rsv_sug1=4&rsv_sug7=101&rsv_sug2=0&inputT=838&rsv_sug4=1460'

# print(parse.urlparse(url))
# print(type(parse.urlparse(url)))
parsed = parse.urlparse(url)
# print(parsed.netloc)
# print(parsed.path)
# print(parsed.scheme)
print(parse.urlunparse(parsed))

 

 

# from urllib.parse import urlencode 

from urllib import parse
from urllib.parse import urlencode

url = 'https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=0&rsv_idx=1&tn=baidu&wd=hello&rsv_pq=d0f841b10001fab6&rsv_t=2d43603JgfgVkvPtTiNX%2FIYssE6lWfmSKxVCtgi0Ix5w1mnjks2eEMG%2F0Gw&rqlang=cn&rsv_enter=1&rsv_sug3=6&rsv_sug1=4&rsv_sug7=101&rsv_sug2=0&inputT=838&rsv_sug4=1460'
parsed = parse.urlparse(url)

params = {
    'name': 'kobe',
    'age': 40
}
url1 = 'http://www.baidu.com?'
url2 = url1 + urlencode(params)
print(url2)

 

 

 

 

###################################

Python常用模块 之 urllib&&urllib3 【爬虫库】
孤寒者的博客
09-15 10万+
Python常用模块 之 urllib&&urllib3 【爬虫库】
python网络爬虫模块
Lord_Haruka的博客
07-20 619
网络爬虫模块
Python3学习笔记（urllib模块的使用）转http://www.cnblogs.com/Lands-ljk/p/5447127.html
weixin_30244681的博客
05-19 169
Python3学习笔记（urllib模块的使用） 1.基本方法 urllib.request.urlopen(url,data=None,[timeout,]*,cafile=None,capath=None,cadefault=False,context=None) -url: 需要打开的网址 -data：Post提交的数...
Python3 网络爬虫（一） urllib模块
沙哈
08-14 499
通过urllib内置模块直接获取页面html数据，利用程序执行HTTP请求。 Urllib分为四个模块 urllib.request 请求模块 urllib.error 异常处理模块 比如404 urllib.parse url 解析模块 urllib.robotparser robots.txt解析模块 写一个简单的例子： from urllib impo...
Python(网络爬虫【requests模块】一)
what_to的博客
10-18 477
Python网络爬虫【requests模块】一网络爬虫的概念抓包工具获取静态网页数据 网络爬虫的概念 网络爬虫（web crawler）又称为网络蜘蛛（web spider）或网络机器人（web robot），另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或蠕虫，同时它也是“物联网”概念的核心之一。网络爬虫本质上是一段计算机程序或脚本，其按照一定的逻辑和算法规则自动地抓取和下载万维网的网页，是...
python网络爬虫之入门[一]
旺旺的博客
11-30 1134
目录前言一、探讨什么是python网络爬虫？二、一个针对于网络传输的抓包工具fiddler三、学习request模块来爬取第一个网页* 扩展内容（爬取top250的网页）后记 前言 hello，本次就是给大家带来的是满满的干货哦，学习如何使用Python爬虫功能。 在这个系列里是完全可以学会滴，按照一步一步来吧。 奥力给!!! 废话不多说，先整理一下本次内容： 1、探讨什么是python网络爬虫？...
python爬虫 urllib模块发起post请求过程解析
09-18
本篇主要讲解使用urllib模块发起POST请求的过程，以爬取百度翻译为例，帮助理解这一操作。 首先，我们需要了解POST请求的基本概念。POST请求是一种HTTP方法，用于向服务器提交数据，通常用于创建新的资源。在爬虫中...
python爬虫 urllib模块反爬虫机制UA详解
09-18
如何在Python爬虫中通过urllib模块伪造User-Agent来绕过反爬虫机制呢？首先，需要从浏览器中获取想要仿冒的浏览器的User-Agent字符串。这可以通过浏览器自带的开发者工具中的Network面板查看，或使用抓包工具如...
python爬虫开发之urllib模块详细使用方法与实例全解
09-17
Python的urllib模块是进行网络数据获取的重要工具，尤其在Python爬虫开发中扮演着核心角色。它在Python 2.x和3.x中有所变化，但核心功能保持一致，为开发者提供了网页请求、URL解析、代理和cookie设置、异常处理以及...
2017.07.23 Python网络爬虫之爬虫常用模块
a18946983682的博客
07-24 181
1.涉及网络这块，必不可少的模块就是urllib2了。顾名思义这个模块主要负责打开URL和HTTP协议之类的，还有一个模块叫urllib，但它们不是升级版的关系 2.urllib2请求返回网页 （1）urllib2最贱的应用就是urllib2.urlopen函数了： urllib2.urlopen(url[,data[,timeout[,cafile[,capath[,cad...
python爬虫常用模块
baiben1277的博客
09-14 815
对于一些简单的爬虫，python（基于python3）有更好的第三方库来实现它，且容易上手。 Python标准库–logging模块 logging模块能够代替print函数的功能，将标准输出到日志文件保存起来，利用loggin模块可以部分替代debug re模块 正则表达式 sys模块 系统相关模块 sys.argv(返回一个列表，包含所有的命令行)sys.exit(退出程序) ...
爬虫基础（一）——python爬虫常用模块
最新发布
大模型研究中心
10-19 903
一分耕耘一分收获
python爬虫中常用的模块介绍
weixin_46255747的博客
03-24 754
urllib3模块是一个第三方的模块,主要使用连接池进行网络请求的访问。使用urllib3发送网络请求时，需要首先创建PoolManager对象（连接池管理对象），再通过该对象调用 request() 方法发送请求。
python网络入门：urllib.request模块和urllib.urllib.parse模块
热门推荐
徐长亮的专栏
05-08 1万+
Urllib.parse模块urljoin方法， urljoin(base, url, allow_fragments=True) Join a base URL and a possibly relative URL to form an absolute interpretation of the latter.
Python爬虫入门：使用urllib模块获取请求页面信息
08-09 1152
　　欢迎来到拖更王的小博客，天天想着要把学习和工作中遇到的内容发布到空间，但是因为忙总是忘（这个借口真好）。以后还应该会坚持什么时候想起来什么时候更新的好习惯吧。 　　今天说一下python爬虫中一个常用的模块urllib，urllib和requests一样都是用来发起页面请求进行获取页面信息的模块，但是不同的是requests要比urllib更强大，用起来更方便，requests属于第三方模块，...
酒浓码浓 - React/react-cookie之Cookie.save
酒浓码浓
04-12 5045
React/react-cookie之Cookie.save Cookies.save(键，值，{属性}); Cookies.save( key, cookie[key], { domain, path: '/', maxAge:new Date().setDate(new Date().getDate()+30) } ); domain 域 path cookie共享的根目...
Cookie信息的保存
forever_wen的博客
10-16 2928
1.什么是cookie？ Cookie，有时也用其复数形式 Cookies，指某些网站为了辨别用户身份、进行 session 跟踪而储存在用户本地终端上的数据（通常经过加密）， 基于 Internet的各种服务系统应运而生，建立商业站点或者功能比较完善的个人站点，常常需要记录访问者的一些信息；论坛作为 Internet发展的产物之一，在 Internet 中发挥着越来越重要的作用，是用户获取、交流...
http协议网络编程
weixin_33830216的博客
05-04 183
一、http协议简介 在进入http协议网络编程之前，我们先来对HTTP协议进行简单的介绍。 早期的软件基本上都是运行在大型机上，软件的使用者则通过哑终端来控制使用计算机资源，在PC技术不断普及后，软件使用者所操作的软件通常运行在PC机上，这种类型的软件架构，称为C/S架构。在后续随着互联网技术的兴起，这种类型的软件架构并不适用互联的应用，因...
爬虫（urllib及requests模块）
qq_43281189的博客
02-27 455
1. HTTP常见状态码 2xxx: 成功 3xxx: 重定向 4xxx: 客户端的问题 5xxxx: 服务端的问题 404： 页面找不到 403： 拒绝访问 200: 成功访问 消息 100 Continue 101 Switching Protocols 102 Processing 成功 200 OK 201 Created 202 Accepted 203 Non-Authorita...
Python爬虫基础：urllib模块全面解析与实例
本文档详细介绍了Python爬虫开发中urllib模块的使用方法和实例，对于理解和掌握爬虫基础至关重要。urllib是Python的标准库，包含在所有Python版本中，无需额外安装。它提供了丰富的功能，支持网页请求、URL解析、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值