lemo_qi的博客

bs4用于解析html and xml文档解析器：html.parser、lxml解析器和XML的内置解析器文档遍历：跟xpath差不多，也是整理成树形结构搜索：find（） find_all()修改：增删改查bs4都支持提取数据处理特殊字符。

1.实例化一个etree对象，将需要被解析的页面源码加载到该对象中2.调用etree对象中的xpath方法结合xpath解析式进行标签的定位和内容的获取。

支持http2.0还需要按照2.0的支持。

本文介绍了一个Python爬虫项目，用于从电影网站爬取并存储电影信息。项目使用requests库获取网页内容，通过正则表达式提取电影详情（包括海报、名称、类别、上映时间、评分和剧情简介），并将数据存储到MongoDB数据库。代码实现了多进程爬取、请求重试机制和日志记录功能，确保爬取效率和稳定性。主要功能包括：1）分页遍历获取电影列表；2）解析详情页提取关键信息；3）数据去重后存储到数据库。该项目可作为基础爬虫框架，适用于类似结构网站的数据采集需求。

用于记录日志，方便调试。

Win64;

url+请求+代理+授权+链接+robot协议