weixin_43143740的博客

Scrapy框架是爬虫最常用的框架，它是一个用纯python写的框架，Scrapy 使用了 Twisted['twɪstɪd] 异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。这里要说一下同步和异步的概念异步：调用在发出之后，这个调用就直接返回，不管有无结果非阻塞：关注的是程序在等待调用结果（消息，返回值）时的状...

Request1,什么是requets?requests 的底层实现其实就是 urllib,Requests的文档非常完备，中文文档也相当不错。Requests能完全满足当前网络的需求，支持Python 2.6–3.5，而且能在PyPy下完美运行。2,安装命令 pip3 install requests3,request的get请求和post请求 我们先来看下get请求GE...

xpath选择器的使用1,什么是xpath选择器?XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言，可用来在 XML 文档中对元素和属性进行遍历,它比正则操作起来更方便,简单,容易接受说到这，我们来说一下xml,什么是xml?XML 指可扩展标记语言（EXtensible Markup Language）XML 是一种标记语言，很类似 HTML...

BeautifulSoup41,什么是BeautifulSoup4?和 lxml 一样，Beautiful Soup 也是python的一个HTML/XML的解析器，用它可以方便的从网页中提取数据,Beautiful Soup相比lxml操作起来更简单,但是速度较慢，这也是它的缺点lxml 只会局部遍历，而Beautiful Soup 是基于HTML DOM的，会载入整个文档，解析整个DOM...

pyQuery解析器pyquery解析器简介pyquery相当于jQuery的python实现，可以用于解析HTML网页等。它的语法与jQuery几乎完全相同，对于使用过jQuery的人来说很熟悉，也很好上手pyquery的安装与使用我们可以使用命令:pip3 install pyquery来安装它**注意:**由于 pyquery 依赖于 lxml ，要先安装 lxml ，否则会提示失...

线程python的thread模块是比较底层的模块，python的threading模块是对thread做了一些包装的，可以更加方便的被使用,使用模块 import threading要知道线程执行是无顺序的,线程资源是共享的threading.Thread参数介绍target:线程执行的函数name:线程名称args:执行函数中需要传递的参数，元组类型kwargs:传参数（字典）...