qq_40494873的博客

前言经过一段时间摸索爬虫，现在对python 爬虫整个知识框架进行一个总结一、Python 爬虫知识架构图我将爬虫技术分为两个业务场景，一个是静态页面数据，另一个是有ajax、js动态加载之后的网页数据爬虫技术我将之分为两大类，一类为网页URL处理与下载技术（urlib、requests、selenium等），另一类为数据数据解析技术（re、lxml、bs4、selenium等）为了方便、快速开发网络爬虫，对底层url处理与数据处理进行高层次封装，引出scripy框架。基于框架开发，方便、省

前言最近在处理网络爬虫下载的网页，使用到lxml模块。对于这个模块一直比较好奇，标准库中已经有xml模块了，为啥还有写一个三方的lxml模块？平常使用中常用作对HTML文件的解析与操作，还能干啥？等等，一大堆问题。特意花费一个下午，了解下它神秘面纱下到底隐藏这个什么。提示：学习这个模块，建议大家先了解下W3C标准中的DOM对象，这对于大家去理解PAI比较有帮助。以下图片图，因为在学习中有一次让自己发散了，比较open，姑且记下来 ^V^-^V^：![在这里插入图片描述](https://img-b

一、requests模块介绍Python内置的urllib模块，用于访问网络资源。但是，它用起来比较麻烦，而且，缺少很多实用的高级功能。因此requests模块在python内置模块的基础上进行了高度的封装，从而使得python进行网络请求时，变得更加简洁和人性化。官方模块中说明："""Requests HTTP Library~~~~~~~~~~~~~~~~~~~~~Requests is an HTTP library, written in Python, for human bein

urllib； python标准库，用于处理url请求request（网络请求模块）response=urlopen(url,data=None,[timeout,]*,cafile=None,capath=None,cadefault=False,context=None)url:网页地址data: {}, 默认为 data=None，表示get请求；若传递改参数，则表格post请求timeout：请求超时时间，秒为单位cafile 与capath ：CA证书和路径，context：ssl.