python3.6 macos 某个版本多进程无法使用 requests 的问题 (自动退出/ silent exit)

最新推荐文章于 2021-05-13 00:37:25 发布
最新推荐文章于 2021-05-13 00:37:25 发布
阅读量421 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/JackLang/article/details/104171566
探讨在Python3.6环境下，使用multiprocessing.Process结合requests.get时程序异常退出的现象。疑似底层_scproxy._get_proxy_settings存在bug，该问题在特定机器上复现，尝试多种补丁方案未果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

现象

python3.6 multiprocessing.Process 中使用 requests.get 程序会自动推出，没有任何提示

原因

跟踪代码，调用底层 _scproxy._get_proxy_settings 应该是存在 bug，在网上只找到一个类似的案例

https://blog.yimingliu.com/2015/07/22/python-multiprocessing-code-crashes-on-os-x-under-ipython/

本机 python2/python3 都不可以，但换一个机器就可以运行了

这应该只是一个比较特殊的问题，自己写了几个补丁方案都没有生效也比较郁闷。。。

在macOS上实现多进程任务处理
Bluelich的专栏
11-09 1155
macOS 多进程开发， XPC
Python小白带小白初涉多进程
MrLevo520的博客
06-21 2002
Python 2.7 IDE Pycharm 5.0.3对于操作系统来说，一个任务就是一个进程（Process），比如打开一个浏览器就是启动一个浏览器进程，打开一个记事本就启动了一个记事本进程，打开两个记事本就启动了两个记事本进程，打开一个Word就启动了一个Word进程。有些进程还不止同时干一件事，比如Word，它可以同时进行打字、拼写检查、打印等事情。在一个进程内部，要同时干多件事，就需要同时
python 多进程 requests_python的多进程怎么配合requests
weixin_39765588的博客
12-07 144
这是单进程顺序执行的代码：import requests,time,os,randomdef img_down(url):with open("{}".format(str(random.random())+os.path.basename(url)),"wb") as fob:fob.write(requests.get(url).content)urllist=[]with open("url...
web server 多进程处理web请求遇到的一些问题
wangleide414的专栏
03-16 595
  uwsgi 处理web 请求使用了多进程的模式，接收到web请求后可能由不同的进程去处理。  问题背景：  一、前段时间写了个api,  这个api 是在django项目中的，并且使用的是nginx+uwsgi的方式提供服务的。在api  中 使用了django 的 get_or_create来保证数据表的唯一性。             XXX.objects.get_or_c...
Python 关于requests 关闭连接，优化内存
weixin_44777680的博客
10-08 2万+
Python 关于requests 关闭连接，优化内存 问题场景 项目需要通过一台主机搭上代理向目标服务器定时交换数据，主机上同时跑着比较占用资源的其他项目。 项目设计思路 因为主机上已经运行了比较占用线程内存资源的其他项目，所以计划本项目就应该在不能太占用资源，的前提下保持比较流畅的运行。 设计了在线程下加上定时器的思路，定时运行相关网络请求方法。 请求量 ：每隔5秒钟，发送10 ~ 30个请求。 核心代码 headers = {"Content-Type": "application/json;cha
python request超时异常退出_Python请求Mock不捕获超时异常
weixin_39945816的博客
02-09 573
我在这里看到了两个问题。一个是直接修复问题，另一个是对Mocking框架的轻微误用，它进一步简化了您的实现。在首先，为了直接解决您的问题，根据您如何测试您的断言，您实际上希望在这里做什么：requests.get = get您应该在这里使用side_effect来帮助引发异常。根据documentation：side_effect allows you to perform side effect...
python 多进程 requests_python多进程（二）
weixin_39789042的博客
01-28 781
之前实现的数据共享的方式只有两种结构Value和Array。Python中提供了强大的Manager专门用来做数据共享的，Manager是进程间数据共享的高级接口。 Manager()返回的manager对象控制了一个server进程，此进程包含的python对象可以被其他的进程通过proxies来访问。从而达到多进程间数据通信且安全。Manager支持的类型有list, dict, Namesp...
Python 多进程调用requests API发送网络请求导致python程序崩溃
Ken的博客
05-13 1076
Python 多进程调用requests API发送网络请求导致python程序崩溃 描述： 在涉及到multiprocess的python项目中，如果在forked出的process中，调用requests API(i.e. requests.get('...'), 该进程会崩溃。 原因： 根据对代码执行路径的分析，以及issue 和其他网友的记录, 可以判定该bug的出现原因为Mac的libdispatch并不是fork-safe，从而导致在fork出的进程里使用requests出错。 解决方案： 在
爬虫开发基础
03-06
本系列课程的内容包括为：1.基本Http请求以及验证方式分析2.Python用于处理Html格式数据beautifulsoup模块3.Pyhton的requests模块的使用并实现登陆博客园、知乎、github、抽屉等网站4.异步IO模块的使用，如：asyncio、gevent、aiohttp、twisted、torando5.自定义异步IO模块6.Scrapy框架的使用以及应用
requests关闭重定向
a480299053的博客
04-22 1126
requests关闭重定向 在requests请求当中可以添加参数 allow_redirects=False来关闭重定向 但是在关闭重定向后悔产生一个warning 可以添加以下代码关闭警告 from requests.packages.urllib3.exceptions import InsecureRequestWarning # 禁用安全请求警告 requests.packages.ur...
Python Requests中异常总结
热门推荐
李谦的博客
08-07 4万+
1. 连接超时 服务器在指定时间内没有应答，抛出 requests.exceptions.ConnectTimeout requests.get('http://github.com', timeout=0.001) # 抛出错误 requests.exceptions.ConnectTimeout: HTTPConnectionPool(host='github.com', port=80...
基于MacOs的多进程并行计算环境及案例
m714星云的博客
07-14 1239
简介 本文详尽描述了在macos环境下如何安装和配置MPI，搭建并实现相关案例的内容。 macOS环境下的MPI配置 首先需要从http://www.mpich.org网站上下载mpich-3.3，目前为止版本最新的。下载完成后，你就可以打开苹果自带的terminal输入命令进入安装。 下面为mpi的具体配置步骤： 首选下载下载下来的是压缩文件，你需要对文件进行解压，苹果是自带tar解压命令的...
Python多进程multiprocessing在Windows下运行不了的问题
mengyangcust的博客
12-13 1万+
Python多进程multiprocessing在Windows的Dos下或者Idle运行不了会出错， 打成exe包双击后会一直打开exe，导致内存占满，在linux下确没有问题， 在Pycharm下运行也不会有问题，经过各种查阅资料，终于解决了这个Bug 只要添加在main入口下添加multiprocessing.freeze_support() 就可以了 if __name__ =...
python requests请求失败_Python requests多线程抓取请求都报异常无解
weixin_33199783的博客
02-09 1180
主要代码如下：import threadingimport requestsdef get_info():try:res = requests.get('http://www.xxx.com/test/json')if res.status_code == 200 and res.text != '':print res.textelse:print res.status_codetime.sle...
Python 异步爬虫原理解析及爬取实战
叶庭云 成为自己的光
08-07 1万+
Python爬虫学习笔记，异步爬虫原理和解析，熟悉阻塞、非阻塞、同步、异步、多进程、协程的基本概念，理解协程的基本用法：task对象的创建、task对象的绑定回调操作，多任务协程的实现，最后通过asyncio和aiohttp实现简单的异步爬虫，爬取效率与单线程和多线程相比较，可以看出如果能将异步请求灵活运用在爬虫中，在服务器能承受高并发的前提下增加并发数量，爬取效率提升是非常可观的。
mac运行python意外退出_解决mac OS 10.9 下python 在terminal下崩溃的问题
weixin_39901358的博客
12-22 1878
Python 2.7.6 release candidate 1 was released on October 26, 2013. This is a 2.7 series bugfix release. Most importantly, it resolvesan issuethat caused the interactive prompt to crash on OS X 10.9....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值