木下瞳的博客

使用setDaemon()和守护线程这方面知识有关， 比如在启动线程前设置thread.setDaemon(True)，就是设置该线程为守护线程，thread.setDaemon（）设置为True, 则主线程执行完毕后会将子线程回收掉,设置为false,主进程执行结束时不会回收子线程。与队列一起使用，主进程需要一个子线程处理东西，共享一个变量，他们的通信就可以用队列，当主进程有元素塞入，子线程才会处理，这样做的意义在于：避免子线程无限死循环，导致退不出程序，也就是避免传说中的孤儿进程。

参考：Python 多进程之间共享变量 - 知乎Python 多线程之间共享变量很简单，直接定义全局 global 变量即可。而多进程之间是相互独立的执行单元，这种方法就不可行了。不过 Python 标准库已经给我们提供了这样的能力，使用起来也很简单。但要分两种情况来看，一种是 Process 多进程，一种是 Pool 进程池的方式。Process 多进程使用 Process 定义的多进程之间共享变量可以直接使用 multiprocessing 下的 Value，Array，Queue 等，

目录多线程 update MySQL多线程 update MySQL数据库里面有一批数据，使用 python 串行更新代码如下：from sqlalchemy import create_engineimport timeimport pandas as pdstart = time.time()# 连接con = create_engine('mysql+pymysql://root:123456@localhost:3306/activity_analysic?ch

背景python 有自己的多进程包multiprocessing 去实现并行计算，但在 pandas 处理数据中，使用multiprocessing 并不好使，只听见风扇转啊转，就不见运行完毕。找到一个 pandas 多进程的方法，pandarallel 库，做一下测试。小数据集（先试过了 5w）可能多进程还没单进程快，因为进程开启关闭也要一点时间；于是我弄了 100w 数据来测试：数据处理利用以上数据做以下处理：1.剔除 titile，comment 两列文本中的表情符..

# 导入concurrent.futures模块from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutorimport datetime# 线程的执行方法def print_value(value): print('Thread' + str(value))# 每个进程里面的线程def my...

1.vs下用法导入创建进程池：Pool（）from multiprocessing import poolp = pool.Pool(2)p.map(re_scraper,urls)pool.Pool()里面的参数为创建的进程池,re_scrapre为函数，urls为穿入参数2.pycharm下用法： from multiprocessing import ...