requests在电脑开启代理的情况下无法正常发送请求

原创 已于 2023-01-10 21:15:33 修改 · 7.1k 阅读 · 40 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #os #爬虫

于 2022-03-31 15:41:58 首次发布
本文解决了一个特定的问题：在使用Python的Requests库时遇到的SSLError。通过调整代理设置，特别是利用本地代理端口，成功解决了错误并实现了稳定的数据抓取。

requests.exceptions.SSLError: HTTPSConnectionPool(host=‘www.pinterest.com’, port=443): Max retries exceeded with url: /resource/UserRegisterResource/create/ (Caused by SSLError(SSLError(1, ‘[SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c:1076)’)))

标题就是这么长

90%的人可能都会出现前面的错误，通常加个time.sleep(1)减慢访问速度就行。然而百分之9的人通常会因为使用了代理而选择在系统环境中将代理设为空，或者在发送请求的时候将代理设为空，例如

os.environ["NO_PROXY"]="baidu.com, google.com"

（你需要的域名）这种或者是这种


                

                
                
        

    


  


        

            

                      
                        最低0.47元/天 解锁文章
                          
                      
            

        


    

      

        

            

              
                
                  big__apple
                
              
            

            

                关注
              
            

        

        

          
      

      










                



	

		

			

				
					
Python Requests库：实现多线程网络请求

				
			

			

				

					Python编程之道的博客
				

				

					06-20
					
					1182
					
				

			

		

		

			
				
在网络爬虫、API测试、批量数据采集等场景中，我们经常需要同时请求多个URL。如果用单线程逐个请求，每个请求的等待时间（如服务器响应）会被无限放大，导致整体耗时极长。本文将教您用“多线程”这把效率钥匙，结合Python最流行的HTTP客户端库Requests，实现高效并发网络请求。本文将按照“概念解释→原理分析→代码实战→场景应用”的逻辑展开：先用餐厅点餐的故事引出多线程；再拆解Requests、多线程、线程池的核心概念；接着用代码演示如何用实现多线程请求；最后总结实战技巧和常见问题。

			
		

	



                

            
              



	

		

			

				
					
python 爬虫，挂VPN后，requests报错

				
			

			

				

					yyf8259的博客
				

				

					05-31
					
					5670
					
				

			

		

		

			
				
2. 在开启vpn的插件中添加白名单(添加接口的域名或者ping一下获得ip和端口号),然后重新启动一下vpn.爬取国外某网站数据，然后向国内服务器提交爬取的数据。1.在requests请求接口提交数据时，挂上代理。

			
		

	



              


  
  
              

                


	

		

			

				
					
requests.get代理ip使用中requusts.eceptions.ProxyError错误

				
			

			

				

					liangjin2807的博客
				

				

					03-10
					
					954
					
				

			

		

		

			
				
requests代理ip使用ProxyError报警

			
		

	





	

		

			

				
					
Zotero PDF Translate插件中DeepL翻译服务配置问题解析

				
			

			

				

					gitblog_00213的博客
				

				

					09-11
					
					345
					
				

			

		

		

			
				
在使用Zotero PDF Translate插件时，部分用户可能会遇到DeepL翻译服务无法正常工作的问题，表现为"Service not available, invalid secret, or request too fast"的错误提示。本文将详细分析该问题的成因及解决方案。

## 问题现象分析

当用户选择文本尝试使用DeepL翻译服务时，插件返回403错误代码，提示服务不可用、密钥...

			
		

	



		

			
		



	

		

			

				
					
开始代理，request库报错问题

				
			

			

				

					m0_52384281的博客
				

				

					01-15
					
					686
					
				

			

		

		

			
				
requests库的证书报错问题


			
		

	





	

		

			

				
					
开了本地代理后python requests无法发起请求，无报错信息

				
			

			

				

					qq_40256516的博客
				

				

					05-26
					
					1366
					
				

			

		

		

			
				
一开始想的是没有设置代理参数，就按网上一般的解解办法，新增了一个proxy。请求的时候还是无反应，也没有报错，一直停留在这里。抓包工具fiddler也没有收到任何请求数据。然后找到了另一种方案，将代理proxy设置到环境变量。然后代码里加上verify=False就可以了。抓包工具也可以抓到请求了。

			
		

	





	

		

			

				
					
requests爬虫使用的IP代理未生效（解决方法）

				
			

			

				

					小仙女说：但行好事，不问前程
				

				

					12-27
					
					1万+
					
				

			

		

		

			
				
在通过requests代理进行网络爬虫，或者是scrapy进行网络爬虫时，不可避免用到IP代理方式一个IP多次访问导致IP地址被封禁，结果无法获取数据的尴尬。但是有时候出现IP代理无法失效的情况：

解决方法为：

查看请求的url地址使用的协议时http还是https，我们设置的代理ip的协议也应该时相同的协议，否则代理不会生效的。

代理方法如下：


# 验证ip地址是否正确，，
impor...

			
		

	





	

		

			

				
					
使用全局代理后导致Pycharm无法请求

				
			

			

				

					博客
				

				

					04-23
					
					1545
					
				

			

		

		

			
				
就是在使用Clash for Windows或者Fiddler等抓包工具的时候由于是默认的开启的全局代理，然后就会导致我们使用requests时出现网络请求错误

			
		

	





	

		

			

				
					
Requests库和抓包工具Fiddler/Reqable

					
最新发布

				
			

			

				

					安然无虞的博客
				

				

					09-18
					
					1055
					
				

			

		

		

			
				
Requests库 是一个 用来发送HTTP请求, 并接收HTTP响应的Python库.Requests库 经常被用来 爬取 网站信息, 用它发起HTTP请求到网站, 从HTTP响应消息中提取信息.Requests库 也经常被用来做 网络服务系统的Web API接口测试, 因为Web API接口的消息基本上都是通过HTTP协议传输的.Python中用于构建HTTP请求的库有很多, 其中 Requests库 最为广泛使用, 因为它使用简便, 功能强大.

			
		

	





	

		

			

				
					
[ Python ]使用Charles对Python程序发出的Get与Post请求抓包-解决Python程序报错问题

				
			

			

				

					物联网领域菜鸟~嘻嘻
				

				

					08-09
					
					1999
					
				

			

		

		

			
				
在Python开发中，网络请求是常见的操作之一。无论是使用内置的urllib库还是第三方库requests，都可能遇到请求失败或数据返回不正确的问题。为了定位和解决这些问题，我们可以使用Charles这样的抓包工具来监控和分析Python程序发出的HTTP和HTTPS请求。但是常见的现象是，Charles与Python程序并不能一起运行，这会导致程序报错。至此，我们已经实现Charles抓取Python程序的Get或Post请求了。

			
		

	





	

		

			

				
					
100天精通Python（爬虫篇）——第114天：爬虫基础模块之requests基础入门

					
热门推荐

				
			

			

				

					努力让自己发光，对的人才能迎着光而来
				

				

					06-27
					
					11万+
					
				

			

		

		

			
				
一、request模块大总结
    1. 下载安装
    2. 常用属性或方法
    3. response.text和response.content的区别:
    4. 发送带headers参数请求
    5. 发送带参数请求
    6. 在headers参数中携带cookie
    7. 超时参数timeout的使用
    8. proxies代理参数的使用
    9. 发送post请求...............

			
		

	





	

		

			

				
					
Another

				
			

			

				

					08-03
				

			

		

		

			
				
可以用来查看另一个目录中的文件

			
		

	





	

		

			

				
					
开了代理之后，Python-request请求报错

				
			

			

				

					欢迎大家来到我的博客，希望我分享的东西能够帮到你们
				

				

					04-16
					
					591
					
				

			

		

		

			
				
开了代理之后，Python-request请求报错，SSLCertVerificationError

			
		

	





	

		

			

				
					
代理软件导致python的https请求出错

				
			

			

				

					m0_46684679的博客
				

				

					04-29
					
					1823
					
				

			

		

		

			
				
代理软件导致python的https请求出错

			
		

	





	

		

			

				
					
python3.8 request proxy(代理)失效解决方案

				
			

			

				

					zhl93206的博客
				

				

					07-14
					
					5983
					
				

			

		

		

			
				
python3.8 request proxy(代理)失效解决方案

在使用python3.8版本的时候，我们使用request库的时候，可能会遇到

urllib3.exceptions.ProxySchemeUnknown: Not supported proxy scheme None

下面这样的错误，这是由于底层修改了url解析模式，导致proxy代理解析失败导致的。

解决方案是：

如果不使用代理，那么就可以改成

proxies = {

"http": "",

"https": "",


			
		

	





	

		

			

				
					
requests使用梯子报错Caused by SSLError

				
			

			

				

					honeysuckle_luo的博客
				

				

					09-05
					
					381
					
				

			

		

		

			
				
本文链接：https://blog.youkuaiyun.com/m0_69082030/article/details/131525671。原文链接：https://blog.youkuaiyun.com/m0_69082030/article/details/131525671。版权声明：本文为优快云博主「名难取aaa」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

			
		

	





	

		

			

				
					
解决HTTPSConnectionPool(host=‘‘, port=443): Max retries exceeded with url: /api/container/ge

				
			

			

				

					妙齐光的博客
				

				

					08-23
					
					5万+
					
				

			

		

		

			
				
如果遇到这样的提示，只需要在请求语句里面添加verify = Flase，例如：
result = requests.get(api,verify=False).text.encode(‘utf-8’)



			
		

	





	

		

			

				
					
解决：requests.exceptions.ProxyError:HTTPSConnectionPool(host=‘xxx.com’,port=443):Max retries exceeded

				
			

			

				

					nings666的博客
				

				

					12-14
					
					1万+
					
				

			

		

		

			
				
背景
在使用之前的代码时，报错：requests.exceptions.ProxyError: HTTPSConnectionPool(host='www.xxxx.com', port=443): Max retries exceeded with url: / (Caused by ProxyError('Cannot connect to proxy.', timeout('_ssl.c:1108: The handshake operation timed out')))
... ...

			
		

	





	

		

			

				
					
HTTPSConnectionPool(host='xxxxx', port=443): Max retries exceeded with url:xxxxxxxx (Caused by Ne...

				
			

			

				

					GLOBE TREKKER
				

				

					10-14
					
					8万+
					
				

			

		

		

			
				
requests.exceptions.ConnectionError:HTTPSConnectionPool(host='baike.baidu.com',port=443): Maxretriesexceededwithurl:https://baike.baidu.com/item/%E5%88%98%E5%BE%B7%E5%8D%8E/114923 (Causedby...

			
		

	





	

		

			

				
					
在使用Python配合Charles抓取微信小程序的网络请求过程中，如何正确配置SSL代理以及应对加密请求的处理策略？

				
			

			

				

					10-28
				

			

		

		

			
				
为了在抓取微信小程序数据时，正确配置SSL代理并处理加密请求，首先需要确保你已经正确安装并启动了Charles工具。以下是具体步骤和策略：  参考资源链接：[微信小程序数据爬取：Python结合Charles实战解析]...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 17

	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			
			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值