weixin_47240003的博客

前面讲了大众点评的反爬解决措施 今天就实际来一次做一个大众点评所有商铺的名字 价格 评价 地址 推荐菜的爬虫我在前面试过爬全网的 在几千条之后就会限制你再登大众点评 所以不用代理ip的话会被限制ip 所以这里我限制了自己的数量 爬的是一个类别下的50页里面的一页 也就是15条数据代码比较粗糙 没有去优化 见谅这些代码就是爬取了一个类别的50条url 如果想爬取所有类别的50条url的话 只需要传入每一个类别的url 而每个的url好像需要构造而已from fontTools.ttLib impo

对于爬虫来说 反爬高难度之一必定有js加密吧 每次看js代码看的头昏眼暗的 今天分享一个百度翻译的爬虫 js的难度恰到好处 不会太难也不会太简单 对于想了解js加密的同学可以试把手需要用到的一点知识是JS，和PyExecJS库PyExecJS库：在python里面 我们可以用这个库模拟执行js的代码第一步来说肯定是打开网页源代码看看有没有想要的内容 很显然没有那就只有继续分页网页结构 最终发现全局搜索找到了要的东西 json数据那思路清晰的出来了 只需要请求这个url 得到response里面的