2021.03.29 爬虫

2021.03.29

爬虫

爬虫基本步骤

爬虫就是通过代码取获取别人网站上的数据
1）获取网页数据 - requests和自动化测试工具(Selenium)
2）解析数据 - 正则表达式、css选择器、xpath
3）存储数据 - 表格文件(csv、openpyxl)和数据库文件

获取网页数据

1. 认识网站
   一个网页由三个部分组成：html、css、javascript(js)
   html - 决定网页中有什么
   css - 决定网页中内容的样式(长什么样)
   js - 让网页内容动态变化

2. requests的使用
   requests是基于HTTP(s)协议的网络请求的第三方库

获取网页内容

requests.get(url) - 获取指定url对应的网页内容，返回一个响应
url - 同一资源定位符（网址）
response = requests.get(‘https://www.sohu.com/’)
print(type(response), response)

获取网页内容

1. 获取网页内容原数据(类型是二进制) - 主要针对图片、视频、音频
   print(response.content)

2）获取网页内容文本格式数据 - 针对网页
print(response.text)

3）将获取的内容进行json转换 - 针对返回数据是json数据的接口
print(response.json())

添加客户端信息 - 伪装成浏览器