并发编程修炼一:进程和线程

【python内功修炼011】:Python进程池和线程池详解 文章目录一、关于线程池\进程池介绍1.1 池的概念1.2 池的划分1.3 线程池和进程池的区别1.5 进程池的创建(流程)二、创建线程池\进程池的两种方法2.1 concurrent和multiprocessing区别三、concurrent.futures模块3.1 模块的介绍3.2 Executor.submit 创建进程/线程池四、concurrent.futures 常用模块4.1 Exe... 阅读详情

作者:海子
出处:http://www.cnblogs.com/dolphin0520/

下面是本文的目录大纲:

  一.操作系统中为什么会出现进程?

  二.为什么会出现线程?

  三.多线程并发

一.操作系统中为什么会出现进程?

说起进程的由来,我们需要从操作系统的发展历史谈起。

  也许在今天,我们无法想象在很多年以前计算机是什么样子。我们现在可以用计算机来做很多事情:办公、娱乐、上网,但是在计算机刚出现的时候,是为了解决数学计算的问题,因为很多大量的计算通过人力去完成是很耗时间和人力成本的。在最初的时候,计算机只能接受一些特定的指令,用户输入一个指令,计算机就做一个操作。当用户在思考或者输入数据时,计算机就在等待。显然这样效率和很低下,因为很多时候,计算机处于等待用户输入的状态。

  那么能不能把一系列需要操作的指令预先写下来,形成一个清单,然后一次性交给计算机,计算机不断地去读取指令来进行相应的操作?就这样,批处理操作系统诞生了。用户可以将需要执行的多个程序写在磁带上,然后交由计算机去读取并逐个地执行这些程序,并将输出结果写到另一个磁带上。

  虽然批处理操作系统的诞生极大地提高了任务处理的便捷性,但是仍然存在一个很大的问题:

  假如有两个任务A和B,任务A在执行到一半的过程中,需要读取大量的数据输入(I/O操作),而此时CPU只能静静地等待任务A读取完数据才能继续执行,这样就白白浪费了CPU资源。人们于是想,能否在任务A读取数据的过程中,让任务B去执行,当任务A读取完数据之后,让任务B暂停,然后让任务A继续执行?

  但是这样就有一个问题,原来每次都是一个程序在计算机里面运行,也就说内存中始终只有一个程序的运行数据。而如果想要任务A执行I/O操作的时候,让任务B去执行,必然内存中要装入多个程序,那么如何处理呢?多个程序使用的数据如何进行辨别呢?并且当一个程序运行暂停后,后面如何恢复到它之前执行的状态呢?

  这个时候人们就发明了进程,用进程来对应一个程序,每个进程对应一定的内存地址空间,并且只能使用它自己的内存空间,各个进程间互不干扰。并且进程保存了程序每个时刻的运行状态,这样就为进程切换提供了可能。当进程暂时时,它会保存当前进程的状态(比如进程标识、进程的使用的资源等),在下一次重新切换回来时,便根据之前保存的状态进行恢复,然后继续执行。

  这就是并发,能够让操作系统从宏观上看起来同一个时间段有多个任务在执行。换句话说,进程让操作系统的并发成为了可能。

  注意,虽然并发从宏观上看有多个任务在执行,但是事实上,任一个具体的时刻,只有一个任务在占用CPU资源(当然是对于单核CPU来说的)。

二.为什么会出现线程?

  在出现了进程之后,操作系统的性能得到了大大的提升。虽然进程的出现解决了操作系统的并发问题,但是人们仍然不满足,人们逐渐对实时性有了要求。因为一个进程在一个时间段内只能做一件事情,如果一个进程有多个子任务,只能逐个地去执行这些子任务。比如对于一个监控系统来说,它不仅要把图像数据显示在画面上,还要与服务端进行通信获取图像数据,还要处理人们的交互操作。如果某一个时刻该系统正在与服务器通信获取图像数据,而用户又在监控系统上点击了某个按钮,那么该系统就要等待获取完图像数据之后才能处理用户的操作,如果获取图像数据需要耗费10s,那么用户就只有一直在等待。显然,对于这样的系统,人们是无法满足的。

  那么可不可以将这些子任务分开执行呢?即在系统获取图像数据的同时,如果用户点击了某个按钮,则会暂停获取图像数据,而先去响应用户的操作(因为用户的操作往往执行时间很短),在处理完用户操作之后,再继续获取图像数据。人们就发明了线程,让一个线程去执行一个子任务,这样一个进程就包括了多个线程,每个线程负责一个独立的子任务,这样在用户点击按钮的时候,就可以暂停获取图像数据的线程,让UI线程响应用户的操作,响应完之后再切换回来,让获取图像的线程得到CPU资源。从而让用户感觉系统是同时在做多件事情的,满足了用户对实时性的要求。

  换句话说,进程让操作系统的并发性成为可能,而线程让进程的内部并发成为可能。

  但是要注意,一个进程虽然包括多个线程,但是这些线程是共同享有进程占有的资源和地址空间的。 进程 是操作系统进行 资源分配 的基本单位,而 线程 是操作系统 进行调度 的基本单位。

三.多线程并发

  由于多个线程是共同占有所属进程的资源和地址空间的,那么就会存在一个问题:

  如果多个线程要同时访问某个资源,怎么处理?

  这个问题就是后序文章中要重点讲述的同步问题。

  那么可能有朋友会问,现在很多时候都采用多线程编程,那么是不是多线程的性能一定就由于单线程呢?

  不一定,要看具体的任务以及计算机的配置。比如说:

  对于单核CPU,如果是CPU密集型任务,如解压文件,多线程的性能反而不如单线程性能,因为解压文件需要一直占用CPU资源,如果采用多线程,线程切换导致的开销反而会让性能下降。

  但是对于比如交互类型的任务,肯定是需要使用多线程的、

  而对于多核CPU,对于解压文件来说,多线程肯定优于单线程,因为多个线程能够更加充分利用每个核的资源。

  虽然多线程能够提升程序性能,但是相对于单线程来说,它的编程要复杂地多,要考虑线程安全问题。因此,在实际编程过程中,要根据实际情况具体选择

【python内功修炼005】:Python并发编程之进程与线程(详解) CPU是工厂,那么进程就是工厂的车间,线程就是车间里面流水线上的员工,车间里面空间是员工共享的,这代表一个进程的内存空间是共享的,每个线程都可以使用这些共享内存。 阅读详情

相关推荐

Python全栈修炼之路 | 第17篇 :并发编程(上)—— 多线程与GIL

并发编程是现代软件开发中的核心技能。Python提供了多种并发模型,包括多线程、多进程和异步IO。然而,Python的多线程有一个著名的限制——全局解释器锁(GIL),它使得多线程在CPU密集型任务中无法充分利用多核CPU。本文将深入探讨Python多线程编程、threading模块的使用、各种同步原语,以及GIL的工作原理和影响。

ionlou的博客 393

Java并发编程:进程和线程之由来

Java多线程基础:进程和线程之由来   在前面,已经介绍了Java的基础知识,现在我们来讨论一点稍微难一点的问题:Java并发编程。当然,Java并发编程涉及到很多方面的内容,不是一朝一夕就能够融会贯通使用的,需要在实践中不断积累。由于并发肯定涉及到多线程,因此在进入并发编程主题之前,我们先来了解一下进程和线程的由来,这对后面对并发编程的理解将会有很大的帮助。   下面是本文的目...

weixin_30699443的博客 251

Python全栈修炼之路 | 第18篇 :并发编程(下)——多进程与异步I/O

在上篇《并发编程(上)》中,我们深入探讨了多线程编程的方方面面。然而,GIL(全局解释器锁)的存在让多线程在CPU密集型任务中无法发挥多核优势。本篇将带你进入真正的并行世界——多进程编程,以及Python 3.5+引入的**异步I/O(asyncio)**范式。多进程利用多核CPU实现真正的并行计算,而异步I/O则通过协程(Coroutine)实现单线程下的高并发。理解这两种并发模型,是成为高级Python工程师的必经之路。

ionlou的博客 196

程序什么时候应该使用线程,什么时候单线程效率高

对于处理时间短的服务或者启动频率高的要用单线程,相反用多线程! 不论什么时候只要能用单线程就不用多线程,只有在需要响应时间要求比较高的情况下用多线程 某此操作允许并发而且该操作有可能阻塞时, 用多线程. 例如SOCKET, 磁盘操作. 使用多线程编程可以给程序员带来很大的灵活性,同时也使原来需要复杂技巧才能解决 的问题变得容易起来。但是,不应该人为地将编写的程序分成一些碎片,让这些碎片按 各自...

ShiYi's blog 2730

顶刊级科研绘图技巧

顶刊级科研绘图技巧

2401_89571885的博客 1157

树莓派4在Bookworm Raspbian系统下无法进入桌面模式(启动后出现彩色画面,然后一直黑屏,但是可以正常启动和ssh)

本文记录了这段比较坎坷的探索之路,由于你的问题不一定是我最终解决方案的,可能是前面探索路上试过的,所以建议按顺序看排除前置问题。 双十一又买了个树莓派 4B,插上之前树莓派 4B 的 TF 卡直接就能使用(毕竟是一样规格的)。但是由于用来连接硬盘的 USB 线是坏的,我以为是系统问题就进行了重装(所以坏掉的线还是直接扔了好)。 重新安装系统就装了最新的 2023-10-10 版本的 64 位的 Raspberry Pi OS,但是出现了一个问题: 启动后出现彩色画面,然后一直黑屏。

ZhongUncle的博客 3735

【单线程和多线程的对比,在什么时候必须要使用到多线程?】

单线程和多线程的对比,在什么时候必须要使用到多线程?

uutale的博客 1858

Python+OpenCV实现游戏自动刷怪脚本(附完整代码)

本文详细介绍了如何使用Python和OpenCV开发游戏自动刷怪脚本,涵盖环境搭建、图像识别、行为决策引擎及反检测优化等关键技术。通过完整的代码示例,帮助开发者实现从简单脚本到智能自动化系统的升级,提升游戏效率。

weixin_29032489的博客 520

C++软件工程师面试题汇总(祝各位秋招/春招顺利)

c++面试题汇总

快要瘦了的小林的博客 5079

香橙派5玩转SATA SSD:一个被忽略的overlays配置项,让你的Ubuntu系统飞起来

本文详细介绍了如何在香橙派5上通过配置`overlays=ssd-sata`启用SATA SSD作为系统启动盘,大幅提升Ubuntu系统的性能。文章深入解析了设备树覆盖的工作原理,提供了完整的配置流程和性能优化建议,帮助开发者充分发挥香橙派5的硬件潜力。

weixin_30787531的博客 220

蓝牙Mesh协议一基本概念

前言 蓝牙SIG联盟在2017年发布了蓝牙Mesh1.0的协议规格,基于低功耗广播包来实现的多对多的通信技术,Mesh协议建立在BLE的物理层和链路层上,所以也可以和BLE的蓝牙进行通信 本章主要介绍蓝牙Mesh的基本概念和协议中的层级结构,也是参考网上的资料,如有异议,欢迎留言指正 基本概念 广播和洪泛 蓝牙Mesh技术是基于BLE的广播报文来实现的,是一种洪泛的消息传输机制,Mesh网络的节点间通过3个广播信道进行通信。当蓝牙Mesh网络中的节点收到消息后会转发这条消息,大大增加了网络的覆盖范围;但

9740

精心修炼Java并发编程(JUC)-线程三大特性

此处的变量(Variables)与 Java 编程中所说的变量有所区别,它包括了实例字段、静态字段和构成数值对象的元素,但不包括局部变量与方法参数,因为后者是线程私有的,不会被共享,自然就不会存在竞争问题。JMM 规定了。

qq_46248151的博客 1426

芒果YOLOv10改进31:特征融合Neck篇:改进特征融合网络 BiFPN 结构,融合更多有效特征

YOLOv10改进:特征融合Neck篇:改进特征融合网络 BiFPN 结构,融合更多有效特征

包括YOLOv5、YOLOv7、YOLOv8等模型改进 684

【python内功修炼002】:并发编程之多进程实例

多线程编程和多进程编程是实现Python并发编程的2种方式,本博文主要帮助你实现Python多线程操作和了解多进程编程的基本语法。

金鞍少年的博客 791

v86.01 鸿蒙内核源码分析 (静态分配篇) | 很简单的一位小朋友 | 百篇博客分析 OpenHarmony 源码

相比动态分配,静态内存池的分配就是个小弟弟,非常的简单,两个结构体 + 一张图 就能说明白。

日拱一卒,力出一孔 775

系统建模语言 (SysML)

系统建模语言

追赶时代的博客 749

java高级程序员修炼_Java程序员修炼之并发教程(一)

Java程序员修炼之并发教程(一)作者:小爱尚计算机的使用者一直以为他们的计算机可以同时做很多事情。他们认为当其他的应用程序在下载文件,管理打印队列或者缓冲音频的时候他们可以继续在文字处理程序上工作。甚至对于单个应用程序,他们任然期待它能在在同一时间做很多事情。举个例子,一个流媒体播放程序必须能同时完成以下工作:从网络上读取数字音频,解压缩数字音频,管理播放和更新程序显示。甚至文字处理器也应该能在...

weixin_42511557的博客 199

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

Java并发编程之线程修炼

### 前言 Java 提供了多线程编程内置的支持。 一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行执行不同的任务。 - 多线程是多任务的一种特别的形式,但多线程使用了更小的资源开销。 - 进程:一个进程包括由操作系统分配的内存空间,包含一个或多个线程。 一个线程不能独立的存在,它必须是进程的一部分。一个进程一直运行,直到所有的非守护线程都结束运行后才...

波罗星的博客 345

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

操作系统武功修炼心法

本篇博客是操作系统这个专栏的目录,在这专栏里,博主会对操作系统进行细致的分析和讲解,主要内容按照操作系统的五大功能(设备管理、作业管理、文件管理、处理机管理和存储器管理)来展开。OS是一门专业课,理论性较强,希望这个专栏能帮助你理解。 目录 ​ 1.计算机操作系统概述 ​ 2.进程和线程的区别—从操作系统的前世今生进行分析 ​ 3.纠错–并发和并行的区别 博文会持续的更新,希望能帮助到你。 ...

丹丹的后花园 3253

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

python 进程池 等待数量_【2020Python修炼记】python并发编程(六)补充—进程池和线程池...

1、2、 为啥要有进程池和线程池进程池来控制进程数目,比如httpd的进程模式,规定最小进程数和最大进程数3、创建进程池的类pool如果指定numprocess为3,则进程池会从无到有创建三个进程,然后自始至终使用这三个进程去执行所有任务,不会开启其他进程pool([numprocess [,initializer [, initargs]]]):创建进程池参数介绍:numprocess:要创建...

weixin_30682635的博客 359

Java程序员修炼之并发教程(一)

计算机的使用者一直以为他们的计算机可以同时做很多事情。他们认为当其他的应用程序在下载文件,管理打印队列或者缓冲音频的时候他们可以继续在文字处理程序上工作。甚至对于单个应用程序,他们任然期待它能在在同一时间做很多事情。举个例子,一个流媒体播放程序必须能同时完成以下工作:从网络上读取数字音频,解压缩数字音频,管理播放和更新程序显示。甚至文字处理器也应该能在忙于重新格式化文本和刷新显示的情况下同时响应键盘和鼠标事件。这样的软件就被称为并发软件。 通过Java语言和Java类库对于基础并发的支持,Java平台具有完

m0_66699725的博客 131

并发编程修炼二:创建线程

创建线程的两种方式

yjgithub的博客 221

c++主线程等待子线程结束_来聊聊C++中头疼的线程、并发

点击上方“AI算法修炼营”,选择加星标或“置顶”标题以下,全是干货1. 线程在一个应用程序(进程)中同时执行多个小的部分(线程),这就是多线程。多个线程虽然共享一样的数据,但是却执行不同的任务。线程启动、创建、结束主线程执行完了,就代表整个进程执行完毕了,此时,一般情况下如果其他子线程没有执行完毕,那么这些子线程也会被操作系统终止。所以为了让子线程执行完就需要让主线程保持住。但是也有意外...

weixin_30104235的博客 5140

【python内功修炼012】:并发编程之GIL详解

【python内功修炼012】:并发编程之GIL详解

金鞍少年的博客 530
上一篇: scala下划线的使用(_)
下一篇: 并发编程修炼二:创建线程
yjgithub
博客等级 码龄11年 53粉丝 105原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值