若数的博客

什么是信号量semaphore信号量，其控制着对公共资源或者临界区的访问。信号量维护着一个计数器，指定可同时访问资源或者进入临界区的线程数。semaphore是一个内置的计数器每当调用acquire()时，内置计数器-1；如果计数器为负数，即资源正在被占用，需要挂起等待每当调用release()时，内置计数器+1；增加到正数时，队列中的第一个等待线程就可以访问共享资源了模拟Lock()锁...

什么是Condtion？所谓condition条件变量，即这种机制是在满足了特定的条件后，线程才可以访问相关的数据。 这种同步机制就是一个线程等待特定的条件，另一个线程通知它条件已经发生。一旦条件发生，该线程就会获取锁，从而独占共享资源的访问。Condition包含以下部分：c.acquire(*args):获取底层锁。此方法将调用底层锁上对应的acquire(*args)方法。c.re...

前言：本系列将包含Python并行编程的相关技术内容,包括Python线程、Python进程、并发编程的异步模式及终极大法Python分布式计算如Celery、SCOOP等相关技术。关键词： threading multiprocessing asyncio Celery线程的基本概念和线程的两种定义方法线程是什么？线程看起来就像轻量级的进程，而进程又是什么呢？　进程即我们平时运行程...

进程的对象交换当我们进行并行应用的开发需要数据交换时，multiprocess模块有两个通信通道用来管理对象的交换，即对队列和管道。就像之前我们在线程中的使用一样，可以利用队列进行数据交换，它在线程和进程里面都是安全的，任何可序列化对象都可以通过队列进行交换。生产者-消费者模型我们同样可以利用进程中的队列实现该模型：import multiprocessingimport random...

什么是事件？事件在内部管理了一个标志Flag，如果Flag值为 False，那么线程在执行event.wait方法时就会阻塞等值直到Flag值为True，该线程便会顺利执行，而Flag的值是通过event.set()和event.clear()设定的：set(): 将标志设为True，并通知所有处于等待阻塞状态的线程恢复运行状态。clear(): 将标志设为False。wait...

什么是锁机制？要回答这个问题，我们需要知道为什么需要使用锁机制。前面我们谈到一个进程内的多个线程的某些资源是共享的，这也是线程的一大优势，但是也随之带来一个问题，即当两个及两个以上的线程同时访问共享资源时，如果此时没有预设对应的同步机制，就可能带来同一时刻多个线程同时访问同一个共享资源，即出现竞态，多数情况下我们是不希望出现这样的情况的，那么怎么避免呢？Lock() 管理线程先看一段代码：...

方便的队列当我们处理多线程的资源共享时，线程模块的管理会变得很复杂。我们已经看到了，Python线程模块提供了很多同步原语，包括锁、信号量、条件变量、事件等。虽然有这么多的选择，但是使用队列可能会是管理线程同步的最佳拍档。队列使用起来很容易，因为该模块提供了同步的,安全的对序列,包括FIFO（先入先出)队列Queue，LIFO（后入先出）队列LifoQueue，和优先级队列PriorityQue...

什么是管道？Pipe常用来在两个进程间进行通信，两个进程分别位于管道的两端。Pipe方法返回(conn1,conn2)代表一个管道的两个端，Pipe方法有duplex参数，如果duplex参数为True(默认值)，那么这个管道是全双工模式，也就是说conn1和conn2均可收发，若duplex为False，conn1只负责接收消息，conn2只负责发送消息。send和recv方法分别是发送和接...

进程由于GIL的存在，Python中的多线程其实并不是真正的多线程，如果想要充分地使用多核CPU的资源，在Python中大部分情况需要使用多进程。Python提供了非常好用的多进程模块multiprocessing，只需要定义一个函数，Python会完成其他所有事情。借助这个模块，可以轻松完成从单进程到并发执行的转换。multiprocessing支持子进程、通信和共享数据、执行不同形式的同步，...