to_upper的博客

使用Scrapy框架抓取数据

爬虫多线程教程及实例应用-

Charles抓取手机APP的方法，及实例

本章主要内容1、安装Selenium和WebDriver2、Selenium的基本使用方法3、查找节点4、节点交互5、管理Cookie6、执行JavaScript代码7、改变节点属性值Selenium的主要功能：1、打开浏览器2、获取浏览器页面的特定内容3、控制浏览器页面上的空间，如向一个文本框输入一个字符串4、关闭浏览器14.1 first_selenium第一个案例使用selenium之前需要先下载浏览器驱动，chromedriver下载地址不仅chrome浏览器的驱动

抓取异步数据主要内容：关于异步传输AJAX什么是AJAX？AJAX基本原理AJAX服务端请求数据案例实战案例：抓取京东图书评价主要内容：什么是异步数据加载AJAX的基本概念如何获取异步数据使用的URL抓取异步数据项目实战：分析京东商城图书评论数据，并抓取这些数据关于异步传输AJAX什么是AJAX？1、异步，请求和下载异步，不占用主线程，即使加载数据缓慢，不会出现页面卡顿2、传输数据的格式，XML->JSONAJAX基本原理发送请求，Web端页面中实现业务逻辑与页面交互的

Mysql数据操作方法pymysql常用方法和参数打开数据库创建Person表插入数据查询记录调用上述方法pymysql常用方法和参数connect方法：连接数据库，根据连接的数据库类型不同，该函数参数也不同，赶回Connection对象cursor方法：获取操作数据库的Cursor对象。cursor方法属于Connection对象execute方法：用于执行SQL语句，该方法属于Cursor对象commit方法：在修改数据库后，需要调用该方法提交对数据库的修改，connmit方法属于Curso

文件存储内容概括11.1 write_file 写入文件open函数和使用方法实操案例：11.2 read_write_lines文件读写行操作方法：实操案例：11.3 fileput_demo另一种文件操作方法操作方法：实操案例：11.4 read_search_xml读取XML文件操作方法：实操案例：11.5 dict to xml 字典转xml文件方法操作方法：实操案例;11.6 xml to dict xml文件转字典类型操作方法：实操案例：11.7 json to dict JSON字符串转字典操

pyquery爬虫解析库，功能强大，CSS选择器功能较强

Beautiful Soup解析库Beautiful Soup章节介绍Beautiful Soup的解析横向对比9.1 bs获取文本和属性方法9.2 选择节点方法selectnode9.3 allchildnodes获取子节点和子孙节点9.5 parentnodes父节点9.6 sibling兄弟节点9.7 find_all_name根据名字查找节点9.8 find_all_attrs根据属性查找节点9.9 find_all_text根据部分文本内容获取节点内容9.10 find方法9.11 CSSSele

一、内容介绍尽管正则表达式很厉害，但是写出功能强大的正则表达式不容易，而且遇到不同的页面就要重写，难以维护（确实）Xpath非常容易理解的路径方式选择XML和HTML中的节点，容易维护和编写本章主要内容： 1、安装lxml 2、用lxml操作XML和HTML文档 3、XPath的基本概念 4、用XPath选取节点（所有节点、子节点、父节点等） 5、用Xpath匹配和选取属性 6、按序选取节点 7、节点轴 8、实战案例，演示使用reque

正则表达式正则表达式一、正则表达式的简介二、内容介绍三、干货7.1 match_group7.2 match和select方法7.3 SelectOne择一匹配符号"|"7.4 MatchAny7.5 CharSet字符集7.6 SpecificSymbol特殊匹配7.7 group分组匹配7.8 start和end-匹配单词的开始和结束7.9 findall函数7.10 sub函数和subn函数的替换和搜索7.11 split分割7.12 三种常用的匹配格式最终案例：糗事网笑话合集抓取正则表达式Tip

这里写目录标题Request网络库介绍5.1 request使用案例15.2 get方法5.3 设置请求头headers5.4 get_binary方法5.5 使用post方法发送post请求5.6 response请求响应结果5.7 uploadfile上传文件5.8 设置Cookie5.9 使用Session对象5.10 SSL签名证书5.11 proxy设置HTTP/HTTPS的代理5.12 Timeout超时5.13 BasicAuth（HTTP Auth）5.14 Request对象封装打包拓展：

urllib侧重于URL的请求构造urllib2侧重于HTTP请求的处理urllib3服务于升级的HTTP1.1标准，且拥有高效HTTP连接池管理以及HTTP代理服务的功能库urllib3内容：1、线程安全2、连接池3、客户端SSL/TLS验证4、使用Multipart编码上传文件5、协助处理重复请求和HTTP重定位6、支持压缩编码7、支持HTTP和SOCKS代理8、100%测试覆盖率4.1 sendrequest发送请求引用urllib3模块，创建PoolManager类实例

urllib基础知识urllib四个模块 1、request: 最基本的HTTP请求模块，可以用来发送HTTP请求，并接收服务端的相应数据。就像输入网址敲回车 2、error: 异常处理模块，如果出现请求错误可以捕捉异常，然后根据实际情况，重试或者忽略 3、parse: 工具模块，提供了很多处理URL的API，如拆分、解析、合并等 4、robotparser: 只要用来识别网站的robots文件，然后判断哪些网站可以抓取，那些网站不能抓取Request类构造方法参数的作用： 1、u

爬虫基础知识爬虫类型 按抓取范围分类 1、全网爬虫：用于抓取整个互联网的数据，主要用于搜索引擎（Google、Baidu）的数据源 2、站内爬虫：与全网爬虫相似，主要用于爬取站内的网络资源。主要用于企业内部搜索引擎的数据源。 3、定向爬虫 按抓取内容和方式分类 1、网页文本爬虫 2、图像爬虫 3、js爬虫 4、一步数据爬虫（json、xml)，主要抓取基于AJAX的系统的数据 5、抓取其他数据的

爬虫协议爬虫协议：Robots协议（机器人协议），全名：网络爬虫排除标准。 用来告诉搜索引擎，哪些页面可以抓取，哪些页面不可以抓取。 该协议通常是一个robots文本文件。一般放在网站的根目录底下。 当我们用爬虫搜索某一网站时，会先检查该网站点的根目录下是否存在爬虫协议。 如果找到，则按照该协议进行爬取，如果没有，该网站点的所有内容都会被爬取。1、百度的robot协议 可以直接访问h