【踩坑】并行线程消息通信——内存双缓冲存储区的实现(单向数据流动)

最新推荐文章于 2025-08-17 09:47:23 发布
原创 最新推荐文章于 2025-08-17 09:47:23 发布 · 836 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#并行编程 #双缓冲区消息通信 #脏读

本文讲述了在并行编程中，如何通过采用双缓冲区技术来避免读取到中间结果（脏数据），确保读取到的是最终确定的数据。在整合运行频率不同的三个模块A（200Hz）、B（40Hz）和C（1kHz）时，初始的单缓冲区方案导致读取异常，通过引入类似于图形学的双缓冲机制，实现了单向数据流动的正确通信，从而解决了问题。

  近期，由于需要将运行度差异较大的三个功能模块，整合到一个系统中，此处不如将三个模块分别记为A,B,C,它们的关系用图表示如下：

                                

  其中，A,B,C三个模块分别运行在200Hz,40Hz和1kHz的频率上，且它们之间的数据流动方向是单向数据流动，即不存在两个并行模块同时往一个缓存Buffer里面写的情况，也就是说，没有写入竞争的情况发生。

本来以为只要没有这种写入竞争的可能，上图的解决方式便可以使得这三个模块很好的并行运行了，事实证明还是too naive...

总之：只要你写入Buffer的数据并不能保证总是最终结果，也就是说写入缓冲Buffer中可能存在中间结果，那么上述方式就有可能会导致读方线程读缓冲区时读到“脏数据”——中间结果。

类似于图形学中显示模式的双缓冲机制，采取双缓冲可以解决这个问题，即:

  • 一个缓冲区
最低0.47元/天 解锁文章
数据服务与数字孪生：虚实结合的数据流
AI天才研究院
10-03 1354
数字孪生的本质是“虚实同步”，而“虚实同步”的核心是“数据流动”。数据服务作为“数据流动的管道”，负责将物理世界的数据传递给虚拟世界，再将虚拟世界的决策反馈给物理世界，形成闭环。技术选型：根据场景选择合适的技术（如工业场景选择MQTT、Flink、InfluxDB）；数据质量：确保采集的数据准确、完整（如通过传感器校准、数据清洗）；实时性：优化数据处理与传输的延迟（如用流处理、WebSocket）；可扩展性：采用分布式架构，应对业务增长的需求（如Kafka集群、Flink集群）。
《Linux多线程muduo》读书笔记3——高效的异步日志
心灵迷宫
07-31 649
高效的异步日志。 将日志分为前后端。使用双缓冲技术。有效降低磁盘写的频率。
Java 生产者与消费者案例 双指针操纵数据缓存区
goldlone的博客
07-21 1104
简介 生产者和消费者共同操纵一个数据缓冲区，其中生成者向缓冲区中写入数据，消费者从缓冲区中读取数据。 本程序实现如下，生产者和消费者实现Runnable接口，不断写入或读取数据。多个生产者和消费者线程通过Executor进行管理。 对数据缓冲区的操作中，使用写入位置指针和读取位置指针分别标明写入或读取位置。 测试程序: // 声明唯一的数据缓存区 DataCache cache = ...
JAVA多线程双缓冲笔记_Java之双缓冲技术
weixin_33142729的博客
02-24 244
双缓冲技术是为了处理对于屏幕闪烁而总结的。那么为什么出现闪烁？这是由于组件的重绘会调用update方法，然后由update调用paint方法，由于update的原代码如下：public void update(Graphics g){if (isShowing()){if (! (peer instanceof LightweightPeer)) //1.如果该组件是轻量组件的话{g.clearR...
双缓存多线程加载数据
09-05
双缓存多线程加载数据
双缓冲异步日志（Async Logging）
青萍之末的博客
01-16 6725
一、日志系统简介   日志通常用于故障诊断和追踪(trace)，也可用于性能分析。日志通常是分布式系统中事故调查时的唯一线索, 用来追寻蛛丝马迹, 查出原凶。 【日志需要记录的内容】： 收到每条内部消息的ID(还可以包括关键字段、长度、hash等)； 收到的每条外部消息的全文； 发出每条消息的全文, 每条消息都有全局唯一的id； 关键内部状态的变更, 等等。 【一个日志文件可分...
服务器开发学习 -- 异步双缓冲日志系统
RaKiRaKiRa的博客
07-05 1079
源码链接：https://github.com/RaKiRaKiRa/Cyclone 通过 git clone https://github.com/RaKiRaKiRa/Cyclone.git可直接下载，有详细的注释 异步双缓冲日志系统 ,由AppendFile( base/FileUtil.h, base/FileUtil.cc ), LogFile ( base/LogFile.h, b...
串口通信多线程接收数据，发送数据
12-25
在接收数据时，通常会开启一个线程持续监听串口，一旦有数据到来，就将其读取到缓冲区。多线程环境下的同步问题不可忽视，因此需要使用同步机制（如互斥量或事件对象）防止多个线程同时访问串口。`StdAfx.h`包含预...
19、Java并发编程：线程创建与单向消息组合
vv45678的博客
08-17 59
本文介绍了Java并发编程中线程创建的两种主要方法：基于任务和基于参与者的设计，并探讨了单向消息组合的相关技术和流网络设计。通过线程异步执行任务和构建阶段化流系统，可以有效支持复杂系统的通信与协作。文章还提供了装配线示例，详细展示了如何设计和实现基于流的系统，帮助开发者更好地理解和应用并发编程与流网络设计的核心概念。
进程间通信，一个线程读取数据，一个线程处理数据，使用一个buffer进行数据交互可以吗
最新发布
12-12
嗯，用户的问题是关于多线程编程中两个线程（读取线程和处理线程）能否共享一个buffer进行数据交互。这个问题涉及到线程间通信的核心机制。 用户引用了5个资料片段。第一个引用展示了多线程创建和pthread_join的...
写了个异步日志
jinyyu的专栏
08-07 1446
主要实现：简单的异步日志，工作线程只需把日志消息写入缓冲，不必阻塞与耗时的IO操作，由一个背景线程专门负责IO操作。 采用的数据结构，前端为双缓冲区，后端为BlockingQueue，缓冲区的初始化和析构都由背景线程负责，两块缓冲交替使用。 大致的逻辑是：前端使用两块缓冲A和B，A为写缓冲，B为预备缓冲，当写满了A，则交换A和B，并通知背景线程来走B。 背景线程接到前端线程的通知，被唤醒，取
双缓冲技术原理以及优缺点
05-29
双缓冲技术原理以及优缺点
利用高速缓存调度算法实现通讯信息的缓冲
08-16
程序功能：(源代码)利用高速缓存调度算法实现通讯信息的缓冲 环境：windowsxp,access2003,vb6
Java C#分析WAV音频文件1Khz是否有声音
baoolong的博客
11-26 2715
本文是用Java写的，C#原理一样并已经验证 最近工作需要检测设备的是否有音频输出，找了很多资料，但是关于1Khz的验证并没有多少，所以我就自己查WAV的文件格式，并手撸了代码，来检测是否1Khz有声音，也可以检测WAV是否有声音 首先，我们需要将WAV文件读出来并将它的头文件分析，关于头文件的网上有很多文章，但是都不是很全面，头文件总会多一些或少一些无关紧要的信息，导致分析出错，下面是我读取头文件的代码（get 和 set方法自行补全） public void readAudio...
使用串口多缓存
hpf247的博客
01-14 2169
串口的多缓存就是指有多个缓存，一般指短时间内不断发送数据，从而存到不同buff区域。】 在STM32的datasheet中说到只有在多缓存通讯中才推荐这种清除程序： //串口接收 if(USART_GetITStatus(USART1, USART_IT_RXNE) != RESET) { if (Recstat != RcvEnd) // 判断是否接收完成（在滴答定时器中实现串口是否接收完成...
STM32串口通信（基于缓冲区）
m0_37777700的博客
05-08 1万+
一、串口的初始化和中断设置 1、初始化GPIO： 根据手册的8.1.11节，我们可以找到下表： 在全双工的模式下，发送引脚需要设置为推挽复用输出，接收引脚则设置为浮空输入或带上拉的输入。因为一般不用同步和流量控制的方式，所以CK、RST、CTS引脚不作配置。当然啦，在使用STM32外设的时候不要忘记打开外设时钟（GPIO和USART的RCC）。 GPIO_InitTypeDef GPIO_InitStructure; //开启串口和GPIO的时钟 RCC_APB2P...
双缓冲(Double Buffer)原理和使用
热门推荐
业精于勤荒于嬉，行成于思毁于随
11-14 4万+
一、双缓冲作用            双缓冲甚至是多缓冲，在许多情况下都很有用。一般需要使用双缓冲区的地方都是由于“生产者”和“消费者”供需不一致所造成的。这样的情况在很多地方后可能会发生，使用多缓冲可以很好的解决。我举几个常见的例子：     例 1. 在网络传输过程中数据的接收，有时可能数据来的太快来不及接收导致数据丢失。这是由于“发送者”和“接收者”速度不一致所致，在他们之间安
操作系统进程状态与转化，控制与通信，线程的实现方式与多线程模型
06-09
<think>嗯，用户这次的问题非常系统化，看来是正在系统学习操作系统的进程管理模块。从连续提问的深度来看，应该是计算机专业的学生在做课程准备或者项目研究。用户前一个问题关注进程的基本概念，这次直接切入状态转换、通信机制和多线程实现等核心内容，说明学习进度在快速推进。用户提供的站内引用很有价值。引用[1]和[2]清晰区分了进程线程的资源分配差异，引用[3]提到管程同步机制，引用[4]则强调现代系统中线程作为调度单元的重要性。需要把这些关键点有机整合到回答中，特别是要解释清楚“为什么有了进程还需要线程”这个根本性问题。考虑到这是理论知识，准备重点构建三个知识模块：首先是状态转换这个动态视角，用双闭环结构图展示状态流转；然后是通信机制的分类框架，强调管道和消息队列的工程实践差异；最后是线程实现的本质问题——用户级线程轻量但阻塞影响整体，内核级线程开销大但能利用多核。这个递进结构应该能覆盖用户的知识需求。特别要注意的是用户提到“控制”这个概念，这通常被初学者忽略。需要把进程创建、切换、阻塞等原语操作的内在机制说透，比如fork-exec模型在Linux的实现，以及上下文切换时寄存器的保存细节。通信机制方面，共享内存虽然高效但风险大，正好可以结合引用[3]的管程概念说明同步的必要性。对了，用户似乎对实现细节特别感兴趣，考虑在回答里偷偷藏个彩蛋——比如提到Linux的写时复制（COW）技术如何优化fork性能，这样应该能激发用户深入探索的兴趣。最后的问题设计成层层递进的形式：从通信实践到死锁分析再到混合线程模型，这样用户后续研究就有明确路径了。</think> ### 操作系统进程状态转换与控制 #### 一、进程状态转换（五状态模型） 进程生命周期通过状态机实现，核心状态包括： 1. **就绪态**：进程已获除CPU外的所有资源 2. **运行态**：进程占用CPU执行指令 3. **阻塞态**：因等待I/O等事件暂停执行 4. **创建态**：正在分配PCB和初始资源 5. **终止态**：资源回收中 ```mermaid stateDiagram-v2 [*] --> 创建态 创建态 --> 就绪态 ： 资源分配完成 就绪态 --> 运行态 ： 获得CPU（进程调度） 运行态 --> 就绪态 ： 时间片耗尽（抢占） 运行态 --> 阻塞态 ： 发起I/O请求 阻塞态 --> 就绪态 ： I/O完成（事件发生） 运行态 --> 终止态 ： 执行结束/强制终止 ``` > **状态转换触发器**： > - 阻塞态→就绪态：外设中断（如磁盘读写完成）[^1] > - 运行态→阻塞态：系统调用（如`read()`请求文件） > $$ T_{阻塞} = t_{I/O} + t_{队列等待} \quad (\text{阻塞时间不可预测}) $$ --- #### 二、进程控制原语 操作系统通过原子操作控制进程： 1. **创建**： - `fork()`：复制父进程PCB（Linux中子进程继承父进程地址空间副本） - `exec()`：加载新程序到内存（保留原PID） 2. **阻塞**： - 主动调用`wait()`或隐式等待资源 3. **唤醒**： - 由事件驱动（如中断处理程序调用`wakeup()`） 4. **终止**： - `exit()`释放资源，向父进程返回状态码 > 💡 **关键机制**：进程切换时，CPU寄存器值保存到PCB（如`eip`存放下条指令地址），恢复时载入新进程现场[^2]。 --- #### 三、进程通信（IPC）机制 ##### 1. 共享内存 - **原理**：映射同一物理内存区域 ```c shmget(key, size, IPC_CREAT); // 创建共享内存 shmat(shmid, NULL, 0); // 附加到进程空间 ``` - **特点**：速度最快（无需内核介入），需同步机制（如信号量）[^3] ##### 2. 消息传递 - **管道**（匿名管道）： ```bash $ cmd1 | cmd2 # shell中cmd1输出作为cmd2输入 ``` - 单向通信，基于文件描述符（`pipe()`创建） - **消息队列**： ```c msgsnd(qid, &msg, sizeof(msg), 0); // 发送 msgrcv(qid, &msg, sizeof(msg), 0); // 接收 ``` - 结构化的消息缓冲区，支持优先级 ##### 3. 同步机制 - **信号量**： $$ P(S): \text{while}(S \leq 0) \text{ wait}; \ S = S - 1 $$ $$ V(S): S = S + 1; \text{唤醒等待进程} $$ - **管程**（Monitor）：封装共享数据和同步操作的语言级机制[^4] --- ### 线程实现与多线程模型 #### 一、线程实现方式 | **类型** | **管理主体** | **特性** | **阻塞影响** | |------------------|--------------|---------------------------------------|----------------------| | **用户级线程** | 用户库 | 切换快（无需内核模式切换） | 整个进程阻塞 | | **内核级线程** | 操作系统 | 可利用多核CPU | 仅当前线程阻塞 | | **混合线程** | 二者结合 | 用户线程映射到内核线程（如Java模型） | 取决于映射策略 > > **关键差异**： > - 用户级线程切换成本约 $10ns$ 级，内核级线程达 $μs$ 级[^2] > - 多核并行需内核线程支持（用户线程无法跨CPU核心） #### 二、多线程模型 1. **多对一模型** - *N* 个用户线程映射到1个内核线程 - **缺点**：一个线程阻塞导致进程阻塞 2. **一对一模型** - 每个用户线程对应一个内核线程（如Windows NT） - **优点**：高并发，支持多核 - **代价**：创建线程开销大 3. **多对多模型** - *M* 个用户线程映射到 *N* 个内核线程（$M > N$） - **折衷方案**：平衡并发度和开销（如Java `ForkJoinPool`） ```mermaid graph LR A[用户线程] -- N:M映射 --> B[内核线程] B --> C[CPU核心1] B --> D[CPU核心2] ``` ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值