Lemon's blog

0x00:异步爬虫概述目的：在爬虫中使用异步实现高性能的数据爬取操作。先来看一个单线程、串行方式的爬虫：import requestsheaders = { 'User-Agent':'xxx'}urls = { 'xxxx' 'xxxx' 'xxxx'}def get_content(url): print("正在爬取：",url) #get方法是一个阻塞的方法 reponse = requests.get(url=url,he

前言：正则表达式有时在写脚本很方便，记录一下自己的学习过程！正则练习import re# key = 'shy lemon'#输出lemon# test = re.findall('lemon',key)[0]# print(test)# lemon# 利用正则提取出整个内容# key = "hello world"# test = re.findall('(.*)',key)[0]# print(test)# hello world# 提取出数字# string = '

前言：上次学习过了BeautifulSoup进行解析的，这次就来学习一下Xpath进行解析0x00:了解XpathXpath解析：最常用且最高效的一种解析方式Xpath解析原理： ——1.实例化一个etree对象，且需要将解析的页面源码数据加载到该数据中。 ——2.调用etree对象中的xpath方法结合xpath表达式实现标签的定位和内容的捕获如何实例化一个etree对象 ——1...

前言：这次来学习数据解析这方面的知识！0x00:了解数据解析在ONE那一篇中，就提到过聚焦爬虫(爬取页面中指定内容)，大部分的爬虫都是聚焦爬虫，但我们刚开始爬取的肯定都是整个页面的数据，如何定位到我们想要的那一部分数据，就用到了数据解析...

前言：ONE中了解了爬虫和requests模块的基本使用，这次就来跟着老师来做一个综合性的案例0x00:案例说明这次要爬取的是化妆品企业具体的生产许可信息0x01:进行分析首先要判断这个页面出现的企业的信息是否是动态加载出来的还是随着该url直接出现的可以F12查看一下也可以写一个py脚本爬取一下捕获到了该页面的数据，可以查询一下企业名称是否在该数据中即可验证信息是通过何种方式...

前面：最近学习了pytho