weixin_44493666的博客

1.selenium模块的基本使用 问题：selenium模块与爬虫之间具有怎样的关联？ -便捷的获取网站中动态加载的数据 -便捷实现模拟登陆 什么是selenium模块？ -基于浏览器自动化的一个模块。 selenium使用流程： -环境安装：pip install selenium -下载一个浏览器的驱动程序 最新火狐浏览器驱动下载地址：https://github.com/mozilla/geckodriver/releases -驱动程序和浏览器的映射关系 -实例化一个浏览器对象： -编写基于浏览器

模拟登陆： -爬取基于某些用户的用户信息。 需求：对人人网进行模拟登录。 -点击登录按钮后会发起一个post请求 -post请求中会携带登录之前的相关登录数据（用户名，密码，验证码…） -验证码：每次请求都会变化 #编码流程： 1.验证码的识别，获取验证码图片的文字数据 2.对post请求进行发送（处理请求参数） 3.对响应数据进行持久化存储 ''' #编码流程： 1.验证码的识别，获取验证码图片的文字数据 2.对post请求进行发送（处理请求参数） 3.对响应数据进行持久化存储 ''' impor

数据解析： 聚焦爬虫 正则 bs4 xpath

python基础 爬虫一些概念 requests模块的简单实用 ajax请求爬取网页数据