zhoulin753的博客

前段时间学习了用Python写爬虫，使用Scrapy框架爬取京东的商品信息。商品详情页的价格是由js生成的，而通过Scrapy直接爬取的源文件中无价格信息。　　通过Selenium、Phantomjs便能实现。下面先介绍Phantomjs。（我的博客原文地址：https://chaycao.github.io/2016/08/19/Scrapy-Selenium-Phantomjs/　请多指教...

在scrapy中运行顺序是这样的（如下图）：由上图我们可以看出我们的request的请求，产生和发送请求之前的位置可以进行处理我们的request请求，也就是在这些地方可以进行userAgent的添加（有如下三个方法）：1.在spider.py文件中进行添加：第一步：#这里就举两个例子，可以在百度里搜索大量的user_agent,放到这个列表中，这个变量我们写在setting...

首先要知道什么叫做ip的代理？         当我们去用我们自己的电脑去访问服务器的时候，服务器是可以收集到我们的IP的，那么如果我们是一个爬虫，再被他判断出是一个爬虫，那么服务器那端的工作人员就可以禁止我们IP的访问，导致我们的爬虫失败，要防止这种情况的发生，就有IP代理来解决这个问题，再没有IP代理的时候，我们会用我们自己的IP直接访问服务器，有了代理IP就是在客户端和服务端再建立一个服...

Python 操作 MySQL 数据库Python 标准数据库接口为 Python DB-API，Python DB-API为开发人员提供了数据库应用编程接口。Python 数据库接口支持非常多的数据库，你可以选择适合你项目的数据库：GadFly mSQL MySQL PostgreSQL Microsoft SQL Server 2000 Informix Interba...