通常情况下,我们在用requests抓取页面时,得到的结果可能跟我们在浏览器中看到的不一样;但在浏览器中看到正常显示的页面数据与我们使用requests抓取的数据完全不一样,这个时候就要去考虑,当前网站的数据是否经由JavaScript处理数据后生成的结果。这些数据有可能是经过ajax加载,或者是特定算法计算后生成的。只需要找到关键的入口,分析关键的加密属性,即可完成爬取。
爬取ajax数据
最新推荐文章于 2024-10-19 15:38:04 发布
通常情况下,我们在用requests抓取页面时,得到的结果可能跟我们在浏览器中看到的不一样;但在浏览器中看到正常显示的页面数据与我们使用requests抓取的数据完全不一样,这个时候就要去考虑,当前网站的数据是否经由JavaScript处理数据后生成的结果。这些数据有可能是经过ajax加载,或者是特定算法计算后生成的。只需要找到关键的入口,分析关键的加密属性,即可完成爬取。