m0_71115526的博客

selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器官网：http://selenium-python.readthedocs.io。

通过编程技术，把互联网中的数据获取经过数据清洗，存到库中python:request,selenium---》app，小程序，网站---》xpaht，lxml---》mysql，redis，文件，excel，mongodb-通过编程语言---》模拟发送http请求---》获取数据---》解析--》入库-爬取过程 解析过程 会遇到反扒-抓app，小程序---》抓包工具---》抓取手机发送的所有请求-charles-Fiddler。

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautiful Soup 3 目前已经停止开发,官网推荐在现在的项目中使用Beautiful Soup 4, 移植到BS4#安装 Beautiful Soup#安装解析器。