z_xiaochuan的博客

多进程（process）       怎么理解进程？                    在电脑中，启动一个软件，系统就会分配一个进程                    在代码中，写好的代码没有运行之前称之为程序，运行的时候就是一个进程                    以前写的代码都只有一个主进程，需要通过主进程来创建其他的子进程       进程创建             ...

多线程（thread）     如何理解线程？              比如在qq里面，可以同时语音和视频，在word里面，可以同时打字、拼写检查              这些同时执行的就可以理解为线程              多任务-多进程、多线程          进程和线程的区别                     （1）线程属于进程，一个线程只能属于一个进程，一个进...

        任何计算机语言都离不开进程线程以及协程的话题,那么今天我们来聊聊Python的进程,线程以及协程是怎么样运行的,以及锁结构的各种类型,还有最重要的是解密各种遇到的问题!!!   那么下面咱们就直入正题吧!   1. 谈谈对多进程多线程以及协程的理解          进程: 一个运行的程序(代码)就是一个进程,没有运行的代码叫程序,进程是系统资源分配的最小单位,进程拥有自己...

现在大家都喜欢用Scrapy框架爬取网站,因为Scrapy框架集成了很多功能,而且底层用了twisted 非阻塞异步框架,提供了多线程爬虫功能,那么我们如何实现不用框架也能快速高效的爬取网站呢? 那么今天我就跟大家分享一个办法吧! 今天给大家分享的是采用 多线程 + 生产者消费者模式来构建的爬虫代码,不过为的是给大家分享,便于理解我给大家简单用面向过程写的代码,如果有朋友想要面向对象的代码可以在...

     最近看到有兄弟们爬取魔方公寓受阻了,虽然能爬取房源信息但是爬取不到评论信息,而且接口是加密的, 用selenium的模拟滚动条滚动也不能让评论下翻,最后只能拿到十几条数据,读者最后试了几遍, 用了很多方法都没法实现,但是最后还是被小编攻破了, 一起来看一下吧!     首先我是按照常规写法, 模拟滚动条滚动,但是最后得到的却是主页面的滚动而评论页纹丝不动, 后来发现评论页原来整体是...

前一段时间爬取了天猫某些商品的评论数据并进行轻度处理,今天就跟大家聊聊见解吧! 话不多说直接开始: 大家都知道淘宝天猫作为国内最大的电商平台之一, 它对网站的加工是极好的,网站的配置也是非常完美的,其中就包括了反爬虫的设计. 淘宝的登录页面是可以检测selenium操作的,所以用selenium模拟登录是不可行的,只要你用selenium模拟登录不管怎么样都是失败的.但是我们可以带cookie...