Python3 URLopen 含中文URL的处理方法

最新推荐文章于 2024-09-18 20:44:21 发布
原创 最新推荐文章于 2024-09-18 20:44:21 发布 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何将包含中文字符的URL进行正确的转码处理，确保其在网络中正确传输。通过Python代码示例展示了使用 urllib.parse 模块中的 quote 函数完成这一过程的方法。

借用知乎的解答：url当中不可能有中文，因为url可以使用的字符有限制，所有其他字符都应该使用url编码，你应该先把中文编码成%XX这样的形式再拼起来


解决方法如下：

from urllib.parse import quote

import string

url = r'https://baike.baidu.com/item/百度百科/85895?fr=aladdin'
url = quote(url, safe = string.printable) 

print(url)

我们只需要调用
from urllib.parse import quote
这个库就行了


运行结果为 https://baike.baidu.com/item/%E7%99%BE%E5%BA%A6%E7%99%BE%E7%A7%91/85895?fr=aladdin


原url：
https://baike.baidu.com/item/百度百科/85895?fr=aladdin








                

        

    



  



    



                



	

		

			

				
					
【Python快速上手（二十八】- Python3 urllib详解

				
			

			

				

					qq_38641481的博客
				

				

					05-21
					
					1387
					
				

			

		

		

			
				
Python的urllib库包含多个模块，每个模块都提供了一组功能来处理URL。urllib.request：用于打开和读取URL。urllib.parse：用于解析URL。urllib.error：定义了urllib中的异常类。urllib.robotparser：用于解析robots.txt文件。本文详细介绍了Python3中的urllib库，包括基本用法、发送请求、处理响应、异常处理、高级用法以及实际应用案例。掌握这些知识可以帮助开发人员更好地处理URL，并实现各种网络操作。

			
		

	



                

            
              



	

		

			

				
					
python 3的urllib库介绍

				
			

			

				

					D0126_的博客
				

				

					05-25
					
					2554
					
				

			

		

		

			
				
在本文中，我们将详细介绍urllib库中最常用的四个模块：urllib.request、urllib.parse、urllib.error和urllib.robotparser。可以使用urlopen()函数打开一个URL，如果给定了字符串参数，将尝试打开这个URL，并且返回一个 file-like 对象，在此对象上可以执行类似文件的操作。打开URL 有两种方法打开URL，分别是使用urllib.request.urlopen()和 urllib.request.Request()。

			
		

	



              


  
              

                


	

		

			

				
					
Python3中urlopen()详解

					
热门推荐

				
			

			

				

					Allen  . Liu
				

				

					08-15
					
					6万+
					
				

			

		

		

			
				
一. 简介

urllib.request.urlopen()函数用于实现对目标url的访问。



函数原型如下：urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)　

url: 需要打开的网址

data：Post提交的数...

			
		

	





	

		

			

				
					
urlopen打开带有中文的url

				
			

			

				

					Dillon2015的博客
				

				

					11-14
					
					3125
					
				

			

		

		

			
				
对于一个url连接例如"www.abc.cn/name=北京"这样一个链接，如果直接
用urlopen读取会报错：
UnicodeEncodeError: 'ascii' codec can't encode characters in position 37-40: ordinal not in range(128)

解决办法就是使用urllib.parse.quote()解析中文部分。

			
		

	



		

			
		



	

		

			

				
					
Python爬虫：urlopen中的url含有中文问题

				
			

			

				

					10 DAY'S
				

				

					11-01
					
					925
					
				

			

		

		

			
				
问题描述：

在使用urllib.request中的urlopen()函数的时候，url链接中含有中文字符，无法正常执行。

配置详情：

python3.x

解决方法：

使用urllib.parse中的quote()函数，将中文字符通过该函数进行url编码。

示例：

from urllib.parse import quote

from urllib.request import ur...

			
		

	





	

		

			

				
					
Python urlopen()函数 示例分享

				
			

			

				

					12-24
				

			

		

		

			
				
复制代码 代码如下:from urllib import urlopendoc = urlopen(“http://www.baidu.com”).read()print doc 二、获取Http头 复制代码 代码如下:from urllib import urlopendoc = urlopen(“http://www.baidu.com”)...

			
		

	





	

		

			

				
					
解决python3 urllib中urlopen报错的问题

				
			

			

				

					09-21
				

			

		

		

			
				
通过上述步骤，你可以顺利地在Python3中使用`urllib.request.urlopen()`函数来处理网络请求。当遇到类似的库迁移或重构问题时，查阅官方文档通常是解决问题的关键。此外，及时更新自己的编程习惯和理解新版本库的...

			
		

	





	

		

			

				
					
Python urlopen 使用小示例

				
			

			

				

					12-23
				

			

		

		

			
				
 在这里，我们使用`urllib.request.urlopen`（注意不是`urllib.urlopen`，因为在Python3中，`urllib`被拆分为多个子模块），通过`proxies`参数传入代理配置。若不使用代理，可以传递一个空字典或直接省略`proxies`...

			
		

	





	

		

			

				
					
python通过urllib2获取带有中文参数url内容的方法

				
			

			

				

					09-22
				

			

		

		

			
				
在Python编程中，当涉及到与Web接口交互时，...这个方法不仅适用于`urllib2`，也适用于其他需要处理URL的Python库，如`requests`。希望这个教程对你的Python编程实践有所帮助，让你更好地理解和处理含有中文字符的URL。

			
		

	





	

		

			

				
					
Python 3网络爬虫之urllib用法

				
			

			

				

					种一棵树，最好的结果是十年前，其次是现在！
				

				

					08-18
					
					680
					
				

			

		

		

			
				
代码摘抄之《Python 3网络爬虫开发实战》

			
		

	





	

		

			

				
					
python3 URllib 库

				
			

			

				

					qq_52579508的博客
				

				

					09-18
					
					732
					
				

			

		

		

			
				
User Agent中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用操作系统及版本、CPU 类型、浏览器及版本。浏览器内核、浏览器渲染引擎、浏览器语言、浏览器插件等。第一次 本地 ，第二次挂的代理。添加User-Agent。urlencode 编码。GET请求 并写入文件。

			
		

	





	

		

			

				
					
Python3 第八十一课 -- urllib

				
			

			

				

					蜡笔小流的博客
				

				

					08-14
					
					1268
					
				

			

		

		

			
				
Python urllib 库用于操作网页 URL，并对网页的内容进行抓取处理。本文主要介绍 Python3 的 urllib。urllib.request - 打开和读取 URL。urllib.error - 包含 urllib.request 抛出的异常。urllib.parse - 解析 URL。urllib.robotparser - 解析 robots.txt 文件。

			
		

	





	

		

			

				
					
Python爬虫从菜鸟到高手--内置网络库urllib详解

				
			

			

				

					qq_41314882的博客
				

				

					11-03
					
					893
					
				

			

		

		

			
				
Robots协议也称作爬虫协议、机器人协议，它的全名是网络爬虫排除标准（Robots Exclusing Protocol），用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取。该协议的内容通常放在一个名为robots.txt的文本文件中，该文件一般位于网站的根目录下。注意，robots.txt文件中的内容只是告诉爬虫应该抓取什么，不应该抓取什么，但并不是通过技术手段阻止爬虫抓取那些被禁止的资源，而只是通知爬虫而已。

			
		

	





	

		

			

				
					
python3urllib库_Python标准库学习之urllib

				
			

			

				

					weixin_39707168的博客
				

				

					12-04
					
					262
					
				

			

		

		

			
				
本系列以python3.4为基础urllib是Python3的标准网络请求库。包含了网络数据请求，处理cookie,改变请求头和用户代理，重定向，认证等的函数。urllib与urllib2?:python2.x用urllib2,而python3改名为urllib,被分成一些子模块：urllib.request,urllib.parse,urllib.error,urllib.robotparser...

			
		

	





	

		

			

				
					
urllib.request.urlopen打开包含中文的URL

				
			

			

				

					Teng的博客
				

				

					01-16
					
					590
					
				

			

		

		

			
				
在上述代码中，`urllib.parse.quote`函数用于对URL进行编码，`safe`参数指定了不需要被编码的字符，例如`/:?然后，使用编码后的URL打开连接。在使用`urllib.request.urlopen`打开包含中文的URL时，需要对URL进行编码。可以使用`urllib.parse.quote`函数来对URL进行编码。url_with_chinese = '在这里放入包含中文的URL'确保在使用中文URL时进行适当的编码，以避免潜在的问题。# 打开编码后的URL。# 对URL进行编码。

			
		

	





	

		

			

				
					
python3中的urlopen对于中文url是如何处理的？

				
			

			

				

					qq_34776122的博客
				

				

					10-20
					
					779
					
				

			

		

		

			
				
文章于知呼转载，非商业，仅限个人学习所有

			
		

	





	

		

			

				
					
Python3中urlopen()的详细用法_新手教程

				
			

			

				

					benbengoula的博客
				

				

					10-24
					
					2898
					
				

			

		

		

			
				
所属模块:urllib.request
在python3的urllib库中,所有和网络请求相关的方法,都被集到urllib.request模块下面.
导入方法
from urllib import request
import urllib.request
作用： urllib.request.urlopen()函数用于实现对目标url的访问。
函数原型：
urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=Non

			
		

	





	

		

			

				
					
详解 python3 urllib

				
			

			

				

					极客猴的博客
				

				

					06-29
					
					2053
					
				

			

		

		

			
				
爬虫python入门，python爬虫教程，python网络爬虫

			
		

	





	

		

			

				
					
python3 urlopen cant concat str to bytes

					
最新发布

				
			

			

				

					08-13
				

			

		

		

			
				
在 Python3 中使用 `urllib.request.urlopen` 时，如果尝试将字符串和字节进行拼接，会遇到 `TypeError: can't concat str to bytes` 错误。这是因为 `urllib.request.urlopen` 返回的是字节流（`bytes`），而字符串...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值