墨城的博客

正则表达式，又称规则表达式正则表达式(regular expression)描述了一种字符串匹配的模式（pattern）正则匹配是一个 模糊的匹配(不是精确匹配)**re：**python自1.5版本开始增加了re模块，该模块提供了perl风格的正则表达式模式，re模块是python语言拥有了所有正则表达式的功能如下四个方法经常使用match()search()findall()finditer()

实现了 __aiter__()和 __anext__()方法的对象。

asyncio模块是python3.4版本引入的标准库，直接内置了对异步IO的操作编程模式是一个消息循环，我们从asyncio模块中直接获取一个EventLoop的引用，然后把需要执行的协程扔到EventLoop中执行，就实现了异步IO说明到目前为止实现协程的不仅仅只有asyncio,tornado和gevent都实现了类似功能关键字的说明关键字说明event_loop消息循环，程序开启一个无限循环，把一些函数注册到事件循环上，当满足事件发生的时候，调用相应的协程函数coroutine。

一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务。Lock锁是线程模块中的一个类，有两个主要方法：acquire()和release() 当调用acquire()方法时，它锁定锁的执行并阻塞锁的执行，直到其他线程调用release()方法将其设置为解锁状态。这种计算密集型任务虽然也可以用多任务完成，但是任务越多，花在任务切换的时间就越多，CPU执行任务的效率就越低，所以，要最高效地利用CPU，计算密集型任务同时进行的数量应当等于CPU的核心数。

当一个队列为空的时候如果再用get取则会阻塞，所以这时候就需要吧blocked设置为false，即非阻塞式，实际上它就会调用get_nowait()方法，此时还需要设置一个超时时间，在这么长的时间内还没有取到队列元素，那就抛出Queue.Empty异常。当生产者的生产能力远大于消费者的消费能力，生产者就需要等消费者消费完才能继续生产新的数据，同理，如果消费者的消费能力远大于生产者的生产能力，消费者就需要等生产者生产完数据才能继续消费，这种等待会造成效率的低下，为了解决这种问题就引入了生产者消费者模型。

除了requests模块可以发送请求之外, urllib模块也可以实现请求的发送,只是操作方法略有不同!urllib在python中分为urllib和urllib2，在python3中为urllib下面以python3的urllib为例进行讲解构造简单请求#构造请求#发送请求获取响应传入headers参数#构造headersMSIE 9.0;#构造请求#发送请求传入data参数 实现发送post请求（示例）data = {'pid': '','keyword': '北京',

selenium本身是一个自动化测试工具。它可以让python代码调用浏览器。并获取到浏览器中加载的各种资源。我们可以利用selenium提供的各项功能。帮助我们完成数据的抓取。

''''''# 正则抓取上面的源代码中的m3u8的url# 写入文件 分析当前的页面源代码# 写入response.content bytes二进制类型# 请求可以获取index.m3u8文件# 写入response.content bytes二进制类型# 拆分返回的内容获取真整的index.m3u8文件的url。

XPath 是一门在 XML 文档中查找信息的语言。查找所有id属性等于head并且class属性等于s_down的div标签。html_tree = etree.HTML(html字符串)通过在路径表达式中使用“|”运算符，您可以选取若干个路径。谓语用来查找某个特定的节点或者包含某个指定的值的节点。选取文档中的所有 title 和 price 元素。查询所有id属性中包以he开头的div标签。查找所有div标签下的直接子节点h1的内容。查询所有id属性中包含he的div标签。

并发编程是一项比较庞大而复杂并且非常重要的技术，无论在面试，还是工作中出现的频率非常高。而我们要学习并发编程，首先要清晰一些基本概念。1946年第一台计算机诞生–20世纪50年代中期，计算机工作还在采用手工操作方式。此时还没有操作系统的概念，属于第一代计算机。程序员将对应于程序和数据的穿孔卡片（punched card，就是一张纸卡片，这个纸卡片被分为N行M列的格子）装入输入机，然后启动输入机把程序和数据输入计算机内存，接着通过控制台开关启动程序针对数据运行；计算完毕，打印机输出计算结果；用户取走结果并穿孔

简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下：Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，，所以不需要多少代码就可以写出一个完整的应用程序。