关于多线程io能否提高程序效率

最新推荐文章于 2025-03-18 14:37:24 发布

原创最新推荐文章于 2025-03-18 14:37:24 发布 · 1.6k 阅读

2 ·

CC 4.0 BY-SA版权

本文探讨了在处理大量文件时使用多线程反而降低效率的现象，并分析了背后的原因是单个硬盘只能响应一个IO请求。文章给出了三种解决方案：使用多个硬盘、升级为固态硬盘以及先将文件读入内存再进行多线程处理。

项目中，需要对30个文件进行读取并处理数据。

想到能不能通过多线程，每个线程处理一部分文件来提高程序效率，实测发现效率反而下降了。

通过查阅资料，发现单个硬盘只能响应一个io，cpu是多核单硬盘不是。

多线程切换时，硬盘去不同的地方读东西会增加耗时。

解决方法：

1、多个硬盘存取

2、换用固态硬盘提升硬盘本身的性能

3、将文件都读到内存，然后多线程处理数据

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

maopeng0535

关注关注

3
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Python爬虫：并发抓取优化 - 使用多线程和异步IO提高抓取效率

2201_76125261的博客

04-15

219

在爬虫任务中，我们通常会面对大量的页面需要抓取，如果只是单线程地依次请求，抓取速度会变得非常慢。通过具体的代码示例，您将学习如何实现并发抓取，如何使用最新的技术工具，以及如何处理并发爬虫中的一些常见问题。无论是通过多线程提高CPU的并发能力，还是通过异步IO提高网络请求的效率，都能大大加快抓取任务的完成时间。多线程适用于IO密集型任务，能够提高程序的并发度，而异步IO则通过事件驱动的方式管理任务，进一步提高了资源的使用效率。虽然直接使用多线程可以提高并发性，但如果创建的线程过多，可能会导致系统性能下降。

多线程误区之：多线程处理I/O效率更快

qq492927689的博客

06-07

1528

当I/O线程处理好这个事件，会先判断一下这个事件是否包含回调函数，如果有，就调用回调函数（这就是异步I/O的实现），如果没有回调函数，那么这个事件就会有一个Event对象，I/O线程会调用SetEvent（这就是同步I/O的实现），SetEvent以后，应用层线程就会被唤醒，然后知道读/写事件处理完成，读/写函数返回。寻道机制，就是说机械硬盘有一个磁头，你要读或写磁盘的某个地方时，磁盘会先将磁头定位到磁片正确的位置，然后才开始读写，就是这个磁头定位的过程，就叫寻道，是非常耗时的。

参与评论您还未登录，请先登录后发表或查看评论

多线程IO通过并发IO来优化性能

weixin_30379911的博客

07-13

274

　　1、通过多线程IO，并发的IO形式来减少顺序IO达到提升性能的目的。　　2、具体线程使用方式可以参见　　　 http://www.cnblogs.com/freedommovie/p/7155260.html 转载于:https://www.cnblogs.com/freedommovie/p/7160946.html...

提高IO性能

weixin_33787529的博客

08-21

491

noatime - 不更新文件系统上 inode 访问记录，可以提升性能 [root@ok etc]# cat /etc/fstab |grep noatime /dev/mapper/vg_ok-lv_root / ext4 defaults,noatime 1 1 /dev/mapper/vg_ok-lv_swap...

多线程能否提高文件读取IO？

全粘工程师

12-06

1742

如果是机械硬盘，性能提升有限的很，因为机械硬盘是磁头按磁道-》扇区去读写数据的，一个硬盘也就一个物理磁头，也就是说本身就是相当于顺序执行的。同时去读，在读取任务上会有一些优化。但如果是固态硬盘的话，这个效率基本上就是10倍的提升。固态硬盘是直接访问地址读取的，可以并发进行。 ...

05IO缓冲流提高IO效率

qq_44784185的博客

11-09

352

缓冲流是对流对象的一种增强使输入输出流效率更高速度更快缓冲流的基本原理：是在创建流对象时，会创建一个内置的默认大小的缓冲区数组，通过缓冲读写，减少系统访问次数，从而提高效率 字节输入缓冲流 BufferedInputStream bis = new BufferedInputStream(new FileInputStream("d.txt")); int len = 0; ...

利用IO流复制文件效率提高版，这里主要用了一个数组做了一个缓存，提升了传递效率。

公子&小白的博客

02-09

496

package day180207;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;/* * 利用IO流复制文件效率提升版 * 字节流复制文件 * 采用数组缓冲提高效率 * 字节数组 * FileInputStream 读取字节数组 * FileOutputStrea...

一个使用C语言实现的多线程io压力生成器

07-10

本项目“一个使用C语言实现的多线程io压力生成器”就是针对这一需求设计的。 C语言作为一种高效的系统编程语言，具备接近硬件操作的能力，同时也支持底层的多线程操作。C语言实现的多线程程序能够直接操作内存和...

多线程-02-多线程的典型应用（异步调用和提高效率）

学习笔记

11-19

1262

多线程的典型应用，以及对同步异步的理解

Python 多线程编程指南：高效处理 IO 密集型任务

04-10

在 Python 中，多线程编程通过 threading 模块实现，可显著提高 I/O 密集型任务的效率。本文详细介绍了 Python 多线程的基本用法，包括如何创建和管理多个线程。首先，通过一个简单的示例展示了如何启动多个线程并...

python多线程提升IO类型任务效率（多线程高级接口）

❤❤ ZLXC的博客

11-14

653

1. 线程数量一般公式：线程数量=（线程等待时间+cpu运行时间）/cpu运行时间*cpu核数但是这个线程等待时间和cpu运行时间不好计算，至少我目前还没想到方法取统计这个时间。然后还有一个更一般的公式线程数量=cpu核数/（1-0.9）比如4核，一般就设置40个线程 2. python代码 from multiprocessing import cpu_count from conc...

磁盘IO单线程顺序写时最快的，如果多线程写，磁盘的磁头要不断重新寻址，所以写入速度反而会慢...

xiaomin1991222的专栏

08-12

1026

磁盘IO单线程顺序写时最快的，如果多线程写，磁盘的磁头要不断重新寻址，所以写入速度反而会慢（1）读写最好还是不要多线程，硬盘读写的速度有限，单线程时已经满负荷了，多线程又会增加线程之间的切换，会增加时间。如果想增加读写速度，应该增加硬盘，做raid（2）首先是硬盘的写入是串行的，CPU的计算才是并行的，如果你偏重计算那么多线程能提高，要不怎么叫做并行计算呢； ...

什么是IO？IO的本质？｜如何让IO变得高效？何为高效？｜异步IO｜多路转接｜reactor模式

系统编程、网络编程

07-18

823

高效IO、多路转接、异步IO、reactor模式、epoll

关于使用IO复用和多线程问题

溪孟羽的专栏

05-04

1972

今天突然想到我什么情况下用IO复用什么情况下用多线程呢？于是上网搜浏览

场景题：在你的电脑下面有个目录有1000个文件，每个文件有1M，第一个方式单线程读到内存里，另一个是并发方式读到内存里，速度有差异吗？快一些还是快很多倍

CppPlayer

03-18

303

传统的机械硬盘（HDD），它们的读写头需要物理移动、旋转延迟等来访问不同的文件，所以顺序读取可能比随机读取快很多。所以对于HDD来说，单线程顺序读取可能更快，而多线程可能因为寻道时间增加导致速度变慢，甚至不如单线程。SSD没有机械部件，随机读取的速度几乎和顺序读取一样快，所以多线程并发读取可能会更高效，因为可以同时处理多个I/O请求，充分利用SSD的高IOPS（每秒输入输出操作数）。如果是SSD，根据具体的硬件规格，适当的并发度可能会有所提升，但不太可能是数量级的加速，更多情况是在一定范围内有适度的提升。

使用多线程会加快文件读取速度吗？

码农的荒岛求生

03-07

7261

前几天遇到一个很有意思的问题，提炼出来就是使用多线程去读取文件的话会加快读取速度吗？在往下看之前先自己想一想，同样如果在面试中问你这个问题该怎么回答呢？假设有一个文件大小为10G，我们需要将其读取到内存中(假设内存能容纳下该文件)，那么使用多个线程分块去读取的话会加快读取速度吗，比如我们创建两个线程，一个线程读取前5G数据；另一个线程读取后5G数据，这会比只是用一个线程将其读入内存快吗？先说...

多线程能够增大文件读取速率吗_火了几十年的机械硬盘会输给固态吗？来看剪辑师的大容量之选...

weixin_39716105的博客

11-24

635

最近工作内容多了视频拍摄的需求，鉴于自己那枚16GB的U盘确实不堪其用，遂趁机向领导申请添置一块大容量移动硬盘，本来想安利一块移动固态硬盘，但综合考虑存储空间、大容量价格和数据安全性后，瞬间不香了。有时候丢数据就等于丢工作，这个风险不值得。所以，现阶段来说，机械式移动硬盘依旧是真香存在，综合考虑再三，我选择这款东芝V9 2TB移动硬盘，吸引我的除了容量和价格外，靓丽的外表也是主要因素。如果你也有需...

多进程和多线程在提高程序效率上有什么区别？

最新发布

10-17

多进程和多线程在提高程序效率上的区别主要体现在以下几个方面： ### 适用场景 - **多进程**：对于计算密集型任务，多进程能更充分地利用多核 CPU 的计算能力。因为每个进程都有独立的内存空间和系统资源，进程之间不会相互干扰，可并行地进行大量的计算。例如，视频编码、数据挖掘、科学计算等任务，使用多进程可以显著提升效率。 ```python import multiprocessing def calculate_square(num): return num * num if __name__ == '__main__': numbers = [1, 2, 3, 4, 5] pool = multiprocessing.Pool(processes=multiprocessing.cpu_count()) results = pool.map(calculate_square, numbers) pool.close() pool.join() print(results) ``` - **多线程**：适合 IO 密集型任务，如网络请求、文件读写等。在 IO 操作时，CPU 处于空闲状态，多线程可以在一个线程等待 IO 操作完成时，让 CPU 去执行其他线程的任务，从而提高整体效率。例如，爬虫程序在请求网页时，使用多线程可以同时发起多个请求，减少等待时间。 ```python import threading import requests def fetch_url(url): response = requests.get(url) print(f"Fetched {url} with status code {response.status_code}") urls = ["https://www.example.com", "https://www.example.org", "https://www.example.net"] threads = [] for url in urls: thread = threading.Thread(target=fetch_url, args=(url,)) threads.append(thread) thread.start() for thread in threads: thread.join() ``` ### 资源开销 - **多进程**：创建和销毁进程的开销较大，每个进程都需要独立的内存空间和系统资源，这会消耗更多的内存和 CPU 资源。进程间的通信也相对复杂，需要使用特定的机制，如管道、队列等。 - **多线程**：线程的创建和销毁开销较小，线程共享进程的内存空间和系统资源，因此内存占用相对较少。线程间的通信也更加方便，可以直接访问共享的变量。 ### 并发执行方式 - **多进程**：多个进程可以在多核 CPU 上真正并行执行，每个进程都有自己独立的 CPU 时间片，能充分利用多核处理器的性能。 - **多线程**：在 Python 中，由于全局解释器锁（GIL）的存在，多线程不能在多核 CPU 上真正并行执行，只能实现并发执行。GIL 确保同一时刻只有一个线程在解释器中执行 Python 字节码，因此在计算密集型任务中，多线程的效率提升有限。 ### 稳定性 - **多进程**：一个进程的崩溃不会影响其他进程的运行，因为每个进程都是独立的。因此，多进程在稳定性方面表现较好，适合对稳定性要求较高的场景。 - **多线程**：一个线程的崩溃可能会导致整个进程崩溃，因为线程共享进程的资源。因此，多线程的稳定性相对较差。