Python的线程与进程

1. 线程与进程

进程是资源分配的最小单位，线程是CPU调度的最小单位。线程可以让应用程序并发的执行多个任务，线程之间方便共享资源，进程之间信息难以共享。

2. 线程与进程的区别

引用知乎大佬的比喻，进程=火车，线程=车厢：

• 线程在进程下进行（单纯的车厢无法运行）
• 一个进程可以包含多个线程（一辆火车可以有多个车厢）
• 不同进程之间的资源不容易共享，而一个进程下不同线程之间的资源容易共享（一辆火车换到另一辆火车不方便，需要站点等；而一个车厢换到另外一个车厢方便许多）
• 进程间不会相互影响，但是某个进程中的线程挂掉就有可能会影响整个进程（一节车厢起火可能会影响其他车厢，但是不会影响另一条轨道的火车）
• 进程使用的内存地址可以上锁，即一个线程使用某些共享内存时，其他线程必须等她结束，才能使用这一块内存 - “互斥锁” （比如车厢的洗手间）
• 进程使用的内存地址可以限定使用量（比如火车上的餐厅，最多允许多少人进入，如果满了要再门口等，有人出来了才能进去）- “信息量”

3. ThreadPoolExecutor线程池

简单使用

from concurrent.futures import ThreadPoolExecutor
import time

# 参数times用来模拟网络请求的时间
def get_html(times):
    time.sleep(times)
    print("get page {}s finished".format(times))
    return times

executor = ThreadPoolExecutor(max_workers=2)
# 通过submit函数提交执行的函数到线程池中，submit函数立即返回，不阻塞
task1 = executor.submit(get_html, (3))
task2 = executor.submit(get_html, (2))
# done方法用于判定某个任务是否完成
print(task1.done())
# cancel方法用于取消某个任务,该任务没有放入线程池中才能取消成功
print(task2.cancel())
time.sleep(4)
print(task1.done())
# result方法可以获取task的执行结果
print(task1.result())

# 执行结果
# False  # 表明task1未执行完成
# False  # 表明task2取消失败，因为已经放入了线程池中
# get page 2s finished
# get page 3s finished
# True  # 由于在get page 3s finished之后才打印，所以此时task1必然完成了
# 3     # 得到task1的任务返回值

1. ThreadPoolExecutor构造实例，max_workers控制同时运行的最大的线程数量。
2. 使用submit函数来提交线程需要执行的任务（函数名和参数）到线程池中，并返回该任务的句柄（类似于文件、画图），注意submit()不是阻塞的，而是立即返回。返回的任务句柄，能够使用done()来方法判断该任务是否结束。
3. 使用**cancel()**方法可以取消任务的提交，如果在线程池中就取消不了。例如max_workers设置为1，在sleep()的时候就可以取消task2。
4. 使用**result()**方法可以获取任务的返回值。

as_completed

在使用submit提交任务后，可以使用as_completed方法一次性取出所有的句柄获取结果并判断完成情况。

from concurrent.futures import ThreadPoolExecutor, as_completed
import time

# 参数times用来模拟网络请求的时间
def get_html(times):
    time.sleep(times)
    print("get page {}s finished".format(times))
    return times

executor = ThreadPoolExecutor(max_workers=2)
urls = [3, 2, 4] # 并不是真的url
all_task = [executor.submit(get_html, (url)) for url in urls]

for future in as_completed(all_task):
    data = future.result()
    print("in main: get page {}s success".format(data))

# 执行结果
# get page 2s finished
# in main: get page 2s success
# get page 3s finished
# in main: get page 3s success
# get page 4s finished
# in main: get page 4s success

as_completed()方法是一个生成器，在没有任务完成的时候，会阻塞，在有某个任务完成的时候，会yield这个任务，就能执行for循环下面的语句，然后继续阻塞住，循环到所有的任务结束。从结果也可以看出，先完成的任务会先通知主线程。

map

使用map方法，无需提前使用submit方法，map方法与python标准库中的map含义相同，都是将序列中的每个元素都执行同一个函数。上面的代码就是对urls的每个元素都执行get_html函数，并分配各线程池。可以看到执行结果与上面的as_completed方法的结果不同，输出顺序和urls列表的顺序相同，就算2s的任务先执行完成，也会先打印出3s的任务先完成，再打印2s的任务完成。
map可以传入多参数线程

from concurrent.futures import ThreadPoolExecutor
import time

# 参数times用来模拟网络请求的时间
def get_html(times,pick):
    time.sleep(times)
    print("get page {}s finished".format(times))
    print("get pick is {}.".format(pick))
    return times

executor = ThreadPoolExecutor(max_workers=2)
urls = [3, 2, 4] # 并不是真的url
picks = ['a','b','c']

for data in executor.map(get_html, urls, picks):
    print("in main: get page {}s success".format(data))

# get page 2s finished
# get pick is b.
# get page 3s finished
# get pick is a.
# in main: get page 3s success
# in main: get page 2s success
# get page 4s finished
# get pick is c.
# in main: get page 4s success