weixin_47248700的博客

前言目前，许多网站采取各种各样的措施来反爬虫，其中一个措施便是使用验证码。随着技术的发展，验证码的花样越来越多。验证码由最初的几个数字组合的简单的图形验证码，后来加入了英文字母和混淆曲线。有的网站还可以看到中文字符的验证码，这使得识别愈发困难。现在交互式验证码越来越多，如滑动验证码，需要滑动拼合滑块才可以完成验证，点触验证码需要完全点击正确的结果才可以完成验证，另外还有滑动宫格验证码、计算题验证码等等。验证码变得越来越复杂，爬虫的工作也变得愈发困难。有时候我们必须通过验证码的验证才能访问页面。本次分

目录前言selenium的安装pip 安装验证安装ChromeDriver的安装下载ChromeDriver环境变量配置验证安装selenium的基本使用介绍简单示例查找元素等待页面加载完成显式等待隐式等待等待条件前进和后退Cookie异常处理最后前言在上篇文章中，我为大家介绍了Ajax的分析和抓取方式，这其实也是javascript动态渲染页面的一种方式，通过直接分析Ajax，仍然可以通过requests来实现数据的获取。不过javascript动态渲染页面不止Ajax这种。有些网站的分页部分可能是

目录前言关系型数据库准备工作连接数据库创建表插入数据删除数据查询数据更新数据实战准备当当网网页分析解析网页书籍名称推荐率作者姓名初版社与出版时间书籍价格创建数据库与数据表连接数据库并插入数据最后结果最后前言写了很多的教程，不知道大家发现没有，很多时候写爬虫，并保存数据的时候，一直都是将数据保存至txt文件或者是Excel文件中。不知道你是否想过，在企业的开发过程 ，数据是保存在哪里的吗？数据是保存在数据库当中，常见的数据库有MySQL、Oracle、mongodb等等。我们今天要讲的数据库是MySQL。

文章目录前言一、requests模块使用1.1 requests模块发送get请求1.2 response响应对象1.3 response.text与response.content的区别1.4 通过对response.content进行decode，来解决中文乱码1.5 response响应对象的其他常用的属性和方法二、requests模块发送请求2.1 发送带headers的请求2.1.1思考2.1.2 携带请求头发送请求的方法2.2 发送带参数的请求2.2.1 在url携带参数2.2.2 通过para

本次专辑我打算出【Python爬虫】，从0到1带大家入门爬虫到精通爬虫，接下来会有更加精彩的内容。关注我，跟着我一起来学习爬虫吧！目录Python爬虫入门：什么是爬虫？爬虫特点概要爬虫的概念爬虫的作用爬虫的分类根据被爬网闸的数量不同，可以分为：根据是否以获取数据为目的，可以分为：根据URL地址和对应页面内容是否改变，数据增量爬虫可以分为：爬虫流程http以及https的概念和区别爬虫特别注意的请求头爬虫特别注意的响应头常见的响应状态码http请求的过程注意最后Python爬虫入门：什么是爬虫？.