5、并行、并发与分布式计算：从基础到Spark实践

并行、并发与分布式计算：从基础到Spark实践

1. 基础概念

• 进程与线程 ：进程可看作正在运行的程序，它使用分配的内存空间执行代码。线程是进程内操作系统可以调度的一系列执行步骤。进程间共享数据通常需要在不同内存空间复制数据，而进程内的线程可以并发访问相同的内存空间。
• 并发访问问题 ：以单词计数为例，若两个线程同时处理，可能会得到错误的计数结果。以下是一个伪Python代码示例：

0:  def word_count(tokenized_documents): # list of lists of tokens
1:      word_counts = {}
2:      thread_pool = ThreadPool()
3:      i = 0
4:      for thread in thread_pool
5:          run thread:
6:              while i < len(tokenized_documents):
7:                  doc = tokenized_documents[i]
8:                  i += 1
9:                  for token in doc:
10:                     old_count = word_counts.get(token, 0)
11:                     word_counts[token] =