BROTHERYY的博客

scrapy框架 什么是框架 就是一个集成了很多功能并且具有很强通用性的一个项目模板。 如何学习框架 专门学习框架封装的各种功能的详细用法。 什么是scrapy 爬虫中封装好的一个明星框架。 功能介绍； 高性能的持久化存储 异步的数据下载 高性能的数据解析操作 分布式 …… scrapy框架的基本使用 环境安装： mca or linux:pip install scrapy windows: pip install wheel 下载twisted,地址：https

xpath解析：最常用且最便捷高效的一种解析方式。 - xpath解析原理 1.实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中。 2.调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获。 - 环境安装 pip install lxml - 如何实例化一个etree对象:from lxml import etree 1.将本地的html文档中的源码数据加载etree对象中： etree.parse(filePath) 2.可以将从网站获取的源码数据加载

requests模块介绍: - python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。 作用：模拟浏览器发请求。 如何使用：(requests模块的编码流程) - 指定url - 发起请求 - 获取响应数据 - 持久化存储 环境安装: - pip install requests 练习： 1.爬取搜狗首页的页面数据 # 需求：爬取搜狗首页数据 import requests # -指定url url = 'https://www.sogou.com/' # 发起请求 respon