python 多线程笔记

进程

一、多任务的介绍

• 多任务：同一时间执行多个任务
  • 作用：充分利用CPU资源，提高程序的效率
  • 表现形式
    • 并发：在一段时间内交替去执行多个任务
      对于单核CPU处理多任务，操作系统轮流让多个任务交替执行
    • 并行：在一段时间内真正的同时一起执行多个任务

二、进程的介绍

• 进程：资源分配的最小单位，它是操作系统进行资源分配和调度运行的基本单位
• 多进程的作用：使用多进程完成多任务

三、多进程完成多任务

1、进程的创建步骤

1. 导入进程包
   import multiprocessing

2. 通过进程类创建进程对象
   进程对象 = multiprocessing.Process(target=任务名)

• 进程执行带有参数的任务
  • args 以元组的方式给执行任务传参
  • kwargs 以字典的方式给执行任务传参

3. 启动进程执行任务
   进程对象.start()

四、获取进程编号

• getpid() 获取当前进程的编号
• getppid() 获取父进程的编号

五、进程的注意事项

• 主进程默认会等待所有的子进程结束后再执行
  • 设置守护主进程
    子进程对象.deamon = True 主进程结束子进程自动销毁，剩下的子进程不再执行

六、文件夹高并发copy器

windows下的代码

"""多进程实现文件拷贝"""

import multiprocessing
import os
import multiprocessing

def copy_file(file_name, source_dir, test_dir):
    # 1、拼接路径
    source_path = source_dir + '\\' + file_name
    test_path = test_dir + '\\' + file_name
    # 2、打开源文件和目标文件
    with open(source_path,'rb') as source_file:
        with open(test_path,'wb') as test_file:
            # 3、循环读取源文件到目标路径
            while True:
                data = source_file.read(1024)
                if data:
                    test_file.write(data)
                else:
                    break

if __name__ == '__main__':
    # 1、定义源文件和目标文件夹
    source_dir = 'copylist'
    test_dir = 'D:\zxr\codetest'
    # 2、创建目标文件夹
    try:
        os.mkdir(test_dir)
    except:
        print('目标文件夹已经存在，直接进行拷贝')
    # 3、读取源文件夹的文件列表
    file_list = os.listdir(source_dir)

    # 4、遍历文件列表实现拷贝
    for file_name in file_list:  
    # 5、使用多进程实现任务拷贝
        sub_process = multiprocessing.Process(target = copy_file,args = (file_name, source_dir, test_dir))
        sub_process.start()
    print("文件拷贝完成")

线程

一、

• 线程是程序执行的最小单位

1、进程的创建步骤

1. 导入线程包
   import threading

2. 通过线程类创建进程对象
   线程对象 = threading.Thread(target=任务名)

• 线程执行带有参数的任务
  • args 以元组的方式给执行任务传参
  • kwargs 以字典的方式给执行任务传参

3. 启动线程执行任务
   线程对象.start()

二、主线程和子线程的执行顺序

对比进程：
主线程会等待所有的子进程执行结束再结束

• 设置守护主线程
  • 1、threading.Thread(target=work,deamon=True)
  • 2、线程对象.setDeamon(True) # 一定要写在线程对象开始执行的代码strat之前

三、线程之间的执行顺序

• 线程之间的执行是无序的

	print(threading.active_count())  # 计算现在有多少个激活了的线程
    print(threading.enumerate())      # 看看激活了的线程是哪些
    print(threading.current_thread()) # 运行程序的时候正在运行的是哪个线程

进程和线程的对比

进程是操作系统资源分配的基本单位，线程是CPU调度的基本单位

协程

在Python语言中，单线程+异步I/O的编程模型称为协程，有了协程的支持，就可以基于事件驱动编写高效的多任务程序。协程最大的优势就是极高的执行效率，因为子程序切换不是线程切换，而是由程序自身控制，因此，没有线程切换的开销。协程的第二个优势就是不需要多线程的锁机制，因为只有一个线程，也不存在同时写变量冲突，在协程中控制共享资源不用加锁，只需要判断状态就好了，所以执行效率比多线程高很多。如果想要充分利用CPU的多核特性，最简单的方法是多进程+协程，既充分利用多核，又充分发挥协程的高效率，可获得极高的性能。