hubing_hust的专栏

本文介绍了在python网络爬虫程序中如何使用生产者与消费者模式进行数据爬取： 1. 生产者与消费者模式2. 队列Queue与进程间通信3. 在Python网络爬虫程序中使用队列进行进程间通信

本文介绍了python中的线程池用法，并示范了如何将线程池技术应用到python网络爬虫程序中。

Python网络爬虫抓不到全部的html内容怎么办？一种行之有效的解决方案是使用Selenium webdriver。详情请参考我的另一篇博文。

本文介绍了python在网络爬虫程序中如何使用多进程的方式进行数据爬取

对于抓不到全部html内容的情况，我们能采取什么应对措施呢，本文介绍一种可行的方法，就是通过Selenium webdriver来模拟浏览器运行的方式，这样就可以做到在浏览器中看到是什么样，抓取的源码就是什么样，也就是可见即可爬。在浏览器中打开这个页面时，首先会加载这个HTML内容，接着浏览器会发现其中引入了一个app.js文件，然后便会接着去请求这个文件，获取到该文件后，便会执行其中的JavaScript代码，而JavaScript则会改变HTML中的节点，向其中添加内容，最后得到完整的页面。

本文介绍了如何在python爬虫程序中使用多线程

WebDriver 以本地化方式驱动浏览器，就像用户在本地或使用 Selenium 服务器的远程机器上所做的那样，这标志着浏览器自动化的飞跃。Selenium WebDriver 指的是语言绑定和各个浏览器控制代码的实现。这通常被称为 WebDriver。Selenium WebDriver 是 W3C 推荐标准。WebDriver 被设计成一个简单和简洁的编程接口。WebDriver 是一个简洁的面向对象 API。它能有效地驱动浏览器。本文绝大部分内容，都可以从以下官方文档中找到。

本文介绍了python解析库beautifulsoup的安装

使用requests库，直接对图片的url进行请求，如果返回状态码为200（ok）的话，那么get方法返回的content二进制串即为图片的真实内容，我们只需将其写入文件即可。下面的示例代码中加入了路径的处理。