m0_63735735的博客

由于JavaScript动态渲染的页面不止Ajax一种，而且有时候即使是Ajax获取的数据，其Ajax接口中也包含有很多加密参数，使我们很难直接找出规律，所以为了解决这些问题，我们可以直接模拟浏览器的运行，然后爬取数据。

这个网站比较简单，这里使用xpath对数据进行爬取。巩固下最近学习的爬虫知识。

Beautiful Soup是Python的一个HTML或XML的解析库，我们可以使用它方便的从网页中提取数据。其官方解释：Beautiful Soup提供一些简单的、Python式的函数来处理导航、搜索、修改分析树等功能。可以自动将输入文档转换为Unicode编码，将输出文档转换为utf-8编码。我们不需要考虑编码方式，除非文档没有指定具体的编码方式，这时仅仅需要说明下原始编码方式就可以了。