网络爬虫开发

使用getItemWithExpiration()这个函数接受一个参数以search2_+关键词的小写格式,猜测是是获取缓存数据,如果缓存存在则获取缓存中的数据并更新当前页面的搜索结果代码,否则就发送一个ajax请求异步获取数据.到这边我们就确定了我们需要的搜索结果数据来自于这个接口,这个接口method是post,请求的参数三个一个是搜索词,一个固定的字符串,一个是当前页面获取到的搜索token,返回的是html的数据类型.这个站点的分析到此就完成了，主要分享了站点的搜索接口的参数分析思路。

爬虫分析常见的反爬虫的方式很多，但是比较有难度，有区分度的技术当属JS逆向分析的参数加密，或者数据加密。本篇博客记录的是博主本人在工作中实际碰到的请求参数进行了加密情况，使用的加密方式是AES的方式（不知道AES是啥也不重要，毕竟我们是做爬虫的只要将最后的结果逆向还原出来，至于深入研究如何实现应该是做密码学的该考虑的，我们可以做一些简单的学习，知道是个啥）。这里的加密是对GET请求进行的加密。详细记录本次的破解过程，毕竟时间久了就会忘的，以后也可以温故而知新。逆向网站为化合物百科1.打开网站进行必要