urllib.request学习

最新推荐文章于 2022-04-01 14:00:00 发布
最新推荐文章于 2022-04-01 14:00:00 发布
阅读量280 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： script
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Circle_list/article/details/79520101
本文介绍了一个使用Python进行网页抓取的基础示例，通过随机选择User-Agent来模拟不同的浏览器环境，并展示了如何向目标网址发送请求及读取返回内容。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

http://tool.chinaz.com/Tools/urlencode.aspx#  url编解码在线工具
ZhaoLong
#-*-coding:utf-8 -*-

import urllib.request
import random

url = "http://www.baidu.com"

ua_list = [
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv2.0.1) Gecko/20100101 Firefox/4.0.1",
        "Mozilla/5.0 (Windows NT 6.1; rv2.0.1) Gecko/20100101 Firefox/4.0.1",
        "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11",
        "Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"
]

user_agent = random.choice(ua_list)
#创建一个请求
request = urllib.request.Request(url)
#给请求添加一个 http报头
request.add_header("User-Agent",user_agent)
#向指定的url发送请求
respone = urllib.request.urlopen(request)
#读取返回的请求的内容
html = respone.read()
print(html)

                

        

    

    
  



    



                



	

		

			

				
					
爬虫库Urllib（urllib.request.Request与urllib.request.urlopen）

				
			

			

				

					qq_35194427的博客
				

				

					07-27
					
					2586
					
				

			

		

		

			
				
Python3中-爬虫库Urllib概述urllib.request1. urllib.request.Request2. urllib.request.urlopen3. urllib.request.urlopen和urllib.request.Request实例演示
概述

问：Urllib能做什么？
答：常用在爬虫开发、API(应用程序编程接口)数据获取、测试；
问：Urllib需要安装吗？
答：Python自带的标准库，直接引用（import）即可；
问： Urllib、Urllib2和Urlli

			
		

	



                

            
              



	

		

			

				
					
一木.溪桥学爬虫-03：请求模块urllib、 urllib.request、urllib.parse.urlencode、urllib.parse.quote(str)、.unquote()

				
			

			

				

					FaFrFu的博客
				

				

					02-04
					
					513
					
				

			

		

		

			
				
一木.溪桥 在Logic Education跟Jerry学爬虫
   
07期：Python 爬虫      
一木.溪桥学爬虫-03：请求模块urllib、 urllib.request、urllib.parse.urlencode、urllib.parse.quote(str)、parse.unquote()    
日期：2021年1月26日     

学习目标：


请求模块urllib


urllib.request


urllib.parse.urlencode


urllib.pa..

			
		

	



              


  
              

                


	

		

			

				
					
urllib.request  的学习

				
			

			

				

					xiaotiancaililuo的博客
				

				

					05-11
					
					182
					
				

			

		

		

			
				
urllib.request的应用
ps：此次学习都没封装自己的信息，光是为了学习命令。
获取一个get请求
测试网页：http://www.baidu.com
# -*- coding: UTF-8 -*-
# @Time : 2021/5/11 20:27
# @Author : 李如旭
# @File ：testUrllib.py
# @Software: PyCharm


import  urllib.request

response = urllib.request.urlopen("http

			
		

	





	

		

			

				
					
urllib.request 学习

				
			

			

				

					OMG的博客
				

				

					01-09
					
					476
					
				

			

		

		

			
				
这个urllib.request模块定义了一些函数和类，这些函数和类有助于在复杂的世界中打开URL（主要是HTTP） - 基本和摘要式的认证，重定向，cookies等等
urllib.request:
	简介: 定义了一些函数和类,有助于在复杂的世界中打开URL,例如:基本和简要身份验证、重定向、cookie等等。
	常用函数:
		urlopen(url,data = None,[ timeou

			
		

	



		

			
		



	

		

			

				
					
【爬虫】urllib.requests库学习笔记

				
			

			

				

					m0_63235356的博客
				

				

					04-01
					
					235
					
				

			

		

		

			
				
urllib.requests:是urllib库中的请求模块,用于发起网络请求,操作cookie,添加hearders,使用代理,默认发送GET请求,传入data参数时发起POST请求,可以设置请求超时时间.

基础操作:

response=requests.urlopen(url=url,data=data,timeout=time):使用GET(POST)请求指定URL所获取的数据.

response.read():获取响应返回的数据,只能读取一次.

response.readline():读取r

			
		

	





	

		

			

				
					
urllib学习之爬虫

				
			

			

				

					wangpi_csdn16的博客
				

				

					03-14
					
					500
					
				

			

		

		

			
				
1、urllib其实是一个包，包括了四个模块：

urllib.request:用于打开和读取 URL

urllib.parse：用于分解url

urllib.error：包括了ullib.request产生的异常

urllib.robotparser：分解robots.txt文件

 

2、来说一下具体用法

比如用于访问百度



首先调用urllib包中request模块，然后用ur...

			
		

	





	

		

			

				
					
Python3 urllib.request库的基本使用

				
			

			

				

					weixin_34318272的博客
				

				

					05-14
					
					8492
					
				

			

		

		

			
				
Python3 urllib.request库的基本使用
所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 在Python中有很多库可以用来抓取网页，我们先学习urllib.request库。
urllib.request库 是 Python3 自带的模块(不需要下载，导入即可使用)
urllib.request库在windows下的路径（C:\Python3...

			
		

	





	

		

			

				
					
python爬虫实例——基于BeautifulSoup与urllib.request

				
			

			

				

					08-12
				

			

		

		

			
				
本实例将深入探讨如何使用Python的BeautifulSoup库与urllib.request模块来实现一个基本的网页抓取功能。  首先，`urllib.request`是Python标准库中的一个模块，用于处理URL相关的请求。在爬虫领域，它主要负责发起...

			
		

	





	

		

			

				
					
python-9.urllib.request请求读取网页-我爬爬爬.py

				
			

			

				

					01-15
				

			

		

		

			
				
使用urllib.request模块进行网页请求是一种基础但极为重要的网络编程操作，对于初学者而言，它是学习网络爬虫的第一步。  在使用urllib.request进行网页请求时，首先需要导入urllib.request模块，通常我们将其简称为...

			
		

	





	

		

			

				
					
Python urllib.request对象案例解析

				
			

			

				

					09-16
				

			

		

		

			
				
`urllib`库包含多个子模块，如`urllib.request`、`urllib.error`、`urllib.parse`和`urllib.robotparser`，它们各自负责不同的网络操作。  `urllib.request`是其中的核心模块，主要用于发送HTTP请求。这个模块提供了...

			
		

	





	

		

			

				
					
Python爬虫入门：urllib.request.Request详解

				
			

			

				

					菜鸟也要高飞
				

				

					07-21
					
					4万+
					
				

			

		

		

			
				
Python爬虫入门：urllib.request.Request详解Request简介基本用法参数解析用法
Request简介
urlopen()方法可以实现最基本的请求的发起，但如果要加入Headers等信息，就可以利用Request类来构造请求。
使用方法为：urllib.request.Request(url, data=None, headers={}, origin_req_host=...

			
		

	





	

		

			

				
					
urllib.request.Request的用法

				
			

			

				

					lebhoryi
				

				

					06-03
					
					4万+
					
				

			

		

		

			
				
我们可以利用urlopen()方法可以实现最基本请求的发起，但这几个简单的参数并不足以 
构建一个完整的请求，如果请求中需要加入headers（请求头）等信息，我们就可以利用 
更强大的Request类来构建一个请求。也许这就是一下两个方式的区别吧：respponse = urllib.request.urlopen(url)req = urllib.request.Request(url)
res

			
		

	





	

		

			

				
					
Python 爬虫基础教程-Urllib详解

				
			

			

				

					python学习者的博客
				

				

					06-04
					
					1739
					
				

			

		

		

			
				
前言

爬虫也了解了一段时间了希望在半个月的时间内结束它的学习，开启python的新大陆，今天大致总结一下爬虫基础相关的类库---Urllib。

Urllib

官方文档地址：https://docs.python.org/3/library/urllib.html

urllib提供了一系列用于操作URL的功能。

Python3中将python2.7的urllib和urllib2两个包合并成...

			
		

	





	

		

			

				
					
urllib的Request详解

				
			

			

				

					实践求真知
				

				

					01-06
					
					3383
					
				

			

		

		

			
				
一 点睛

urlopen()方法可以实现最基本请求的发起，但这几个简单的参数并不足以构建一个完整的请求。如果请求中需要加入Headers等信息，就可以利用更强大的Request类来构建。

二 实战

1 代码


import urllib.request

request = urllib.request.Request('https://python.org')
response = ur...

			
		

	





	

		

			

				
					
python爬虫之urllib库的使用

				
			

			

				

					finna_xu的博客
				

				

					03-28
					
					1584
					
				

			

		

		

			
				
1.爬取百度的源码
爬网页就是根据URL来获取它的网页信息，源码里面有HTML代码，加JS、CSS，其中最重要的部分在HTML代码中




截取了一小段的运行结果
2.分析代码
首先从urllib.request库中导入urlopen方法，然后打开百度的首页，urlopen()方法一般接收三个参数urlopen(url,data,timeout)第一个参数url是必须要传送的，第

			
		

	





	

		

			

				
					
Urllib.request用法简单介绍(Python3.3)

				
			

			

				

					学无涯
				

				

					05-28
					
					3万+
					
				

			

		

		

			
				
urllib是Python标准库的一部分,这里主要

			
		

	





	

		

			

				
					
python3网络爬虫一《使用urllib.request发送请求》

					
热门推荐

				
			

			

				

					软件测试技术的博客
				

				

					10-23
					
					7万+
					
				

			

		

		

			
				
python 爱好者交流群：810306356

这里有很多像你一样的伙伴，共同分享学习python的经验！

使用urllib



在Python2版本中，有urllib和urlib2两个库可以用来实现request的发送。而在Python3中，已经不存在urllib2这个库了，统一为urllib。Python3 urllib库官方链接 

https://docs.pytho...

			
		

	





	

		

			

				
					
python爬虫（一）urllib.request库学习总结

				
			

			

				

					Yangirl_Sunny的博客
				

				

					04-03
					
					1581
					
				

			

		

		

			
				
一.简单介绍
urllib库：是python的内置请求库，常用于网页的请求访问。
包括以下模块：
urllib.request 请求模块
urllib.error 异常处理模块
urllib.parse url解析模块
urllib.robotparser robots.txt解析模块
二.实践操作
（1）针对含参数访问
import urllib.request
import urllib.pa...

			
		

	





	

		

			

				
					
proxyswitch 代理

				
			

			

				

					Circle_list的博客
				

				

					03-13
					
					1万+
					
				

			

		

		

			
				

import urllib.request

proxyswitch = True
#创建一个代理对象
httpproxy_handler = urllib.request.ProxyHandler({"http":"203.174.112.13:3128"})

nullproxy_handler = urllib.request.ProxyHandler({})
# 调用build_open...

			
		

	





	

		

			

				
					
urllib.request跟request库是一回事么？

					
最新发布

				
			

			

				

					03-17
				

			

		

		

			
				
<think>嗯，用户之前问了关于requests.post()的参数和返回内容，现在又问urllib.request和requests库是不是一回事。看起来他可能在处理HTTP请求时遇到了选择库的问题，或者对这两个库的区别不太清楚。

首先，我需要确认用户对这两个库的了解程度。他可能刚开始学习Python网络请求，所以需要明确两者的不同，避免混淆。用户可能想知道哪个库更适合他的需求，或者为什么存在两个类似的库。

接下来，我应该比较这两个库的来源和设计。urllib.request是Python标准库的一部分，而requests是第三方库。需要指出requests更友好、功能更强大，而urllib比较底层，使用起来麻烦一些。

然后，用户可能需要具体的区别点，比如语法差异、功能对比、易用性等。例如，requests自动处理编码，而urllib需要手动处理。此外，异常处理方面requests也更简洁。

还要考虑用户可能的实际应用场景，比如是否需要在没有安装第三方库的情况下使用标准库，或者是否需要更简洁的API来提高开发效率。这会影响他选择哪个库。

另外，用户可能对性能或扩展性有疑问，但通常来说，requests已经足够高效，除非有特别的需求才会用到urllib。

最后，需要给出建议，帮助用户根据具体情况选择。比如，推荐requests用于大多数情况，而urllib适合需要轻量级或标准库的场景。</think>`urllib.request` 和 `requests` 库都可以用于发送 HTTP 请求，但**二者不是一回事**。它们的设计目标、使用方式和功能特性有显著差异。以下是详细对比：

---

### **一、来源与定位**
| 库               | 类型           | 特点                                                                 |
|-------------------|----------------|----------------------------------------------------------------------|
| `urllib.request`  | Python 标准库  | 内置于 Python，无需安装，但 API 设计较为底层，使用复杂。             |
| `requests`        | 第三方库       | 需通过 `pip install requests` 安装，API 简洁易用，功能丰富，社区支持强。 |

---

### **二、核心区别对比**

#### 1. **语法与易用性**
- **`urllib.request`**  
  需要手动处理编码、请求头、参数拼接等，代码冗长。  
  **示例（发送 GET 请求）**：
  ```python
  import urllib.request
  import urllib.parse

  url = "https://api.example.com/data"
  params = {"key": "value"}
  query = urllib.parse.urlencode(params)  # 手动编码参数
  full_url = f"{url}?{query}"

  req = urllib.request.Request(full_url, headers={"User-Agent": "Mozilla/5.0"})
  with urllib.request.urlopen(req) as response:
      data = response.read().decode("utf-8")  # 手动解码响应内容
  ```

- **`requests`**  
  直接通过参数传递数据，自动处理编码和内容解析。  
  **示例（同功能）**：
  ```python
  import requests

  response = requests.get(
      "https://api.example.com/data", 
      params={"key": "value"}, 
      headers={"User-Agent": "Mozilla/5.0"}
  )
  data = response.text  # 自动解码文本
  ```

---

#### 2. **功能特性**
| 功能                  | `urllib.request`                    | `requests`                          |
|-----------------------|-------------------------------------|-------------------------------------|
| **HTTP 方法支持**     | 需手动构建请求对象（如 `POST`）     | 直接调用 `get()`, `post()` 等方法   |
| **JSON 处理**         | 需手动解析响应内容                  | 通过 `response.json()` 直接解析     |
| **文件上传**          | 需手动构造 `multipart/form-data`    | 通过 `files` 参数一键上传           |
| **Session 管理**      | 需自行处理 Cookie 和会话            | 提供 `Session` 对象自动保持会话     |
| **SSL 验证**          | 默认启用，但配置复杂                | 支持 `verify` 参数快速开关验证      |
| **超时设置**          | 通过 `urlopen` 的 `timeout` 参数    | 直接使用 `timeout` 参数             |
| **代理配置**          | 需通过 `ProxyHandler` 设置          | 通过 `proxies` 参数快速配置         |

---

#### 3. **异常处理**
- **`urllib.request`**  
  抛出标准异常（如 `URLError`, `HTTPError`），需逐个捕获：
  ```python
  try:
      urllib.request.urlopen("https://invalid.url")
  except urllib.error.URLError as e:
      print("请求失败:", e.reason)
  ```

- **`requests`**  
  统一通过 `requests.exceptions` 处理，且提供 `response.raise_for_status()` 快速检查 HTTP 错误码：
  ```python
  try:
      response = requests.get("https://invalid.url")
      response.raise_for_status()  # 自动检查 4xx/5xx 错误
  except requests.exceptions.RequestException as e:
      print("请求失败:", e)
  ```

---

### **三、性能与适用场景**
| 场景                  | 推荐库           | 原因                                                                 |
|-----------------------|------------------|----------------------------------------------------------------------|
| **简单脚本/轻量级需求** | `requests`       | 代码简洁，节省开发时间                                               |
| **无第三方库依赖**     | `urllib.request` | 适用于受限环境（如某些服务器禁止安装第三方库）                       |
| **底层控制**           | `urllib.request` | 需要直接操作 HTTP 协议细节时（如自定义处理器、调试底层协议）         |
| **高频请求/连接池优化** | `requests`       | 通过 `Session` 对象复用 TCP 连接，显著提升性能                       |

---

### **四、总结**
- **`urllib.request`**  
  适合对 Python 标准库有强制依赖的场景，或需要深入控制 HTTP 请求细节的开发者。  
  **缺点**：代码冗余，学习成本高。

- **`requests`**  
  推荐大多数场景使用，尤其适合快速开发和维护，其简洁的 API 和丰富的功能显著提升效率。  
  **缺点**：需额外安装，对极简环境不友好。

---

### **五、迁移示例**
将 `urllib.request` 代码转换为 `requests`：
```python
# 原 urllib 代码
req = urllib.request.Request(url, data=bytes(urllib.parse.urlencode(data), "utf-8"), method="POST")
response = urllib.request.urlopen(req)

# 等效 requests 代码
response = requests.post(url, data=data)
```

---

根据需求选择即可！多数情况下，`requests` 是更优解。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值