网络爬虫随笔
文章平均质量分 66
一念天地
编程新手
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
网络爬虫知识点(随笔2)——协程
在这个下载任务的单进程/单线程,需要我们自己主动监测出所有的阻塞环节,使得CPU在这些阻塞环节切换执行,这样当前下载任务的单进程/单线程处于就绪态就会增多,以此来迷惑操作系统,操作系统便以为当前的下载任务是阻塞比较少的单进程/单线程,从而会尽可能多的分配CPU给我们,这样也就达到了提升程序执行效率的目的。但是,计算机中启动的进程/线程那么多,你确定每次CPU进行进程/线程切换,都会切换到网页下载的进程/线程中吗?将所有的网页下载任务全部封装在一个进程/线程中,基于单进程/单线程来实现多个网页下载的任务。原创 2025-04-16 20:43:03 · 673 阅读 · 0 评论 -
网络爬虫知识点(随笔1)——并发编程(并发,并行,同步,异步)
并发的关键是你有处理多个任务的能力,不一定要同时。并行的关键是你有同时处理多个任务的能力。所以它们最关键的一点就是:是否是“同时”。原创 2025-04-16 18:47:22 · 681 阅读 · 0 评论
分享