博主分享了使用selenium+lightbody BMP+HttpClient 抓取企查查数据的经验，遇到的挑战包括防止重复数据存储、验证码拦截等问题。在尝试了不同策略如更换查询间隔、切换到天眼查后，发现依然受到严格限制，最终决定回到企查查继续抓取工作。
-首先打个标记等我把要抓的数据抓完之后再一 一 分享，先上几个截图。
1.已抓取到按条件的数据。这是躺过一周的坑，得到的结果
2.根据某些条件可能会得到重复的数据，例如：销售关键字与贸易关键字可能会得到一些重复的数据，则不存数据库。
=========== 等老弟我把数据爬完就跟大家一一分享代码，以及我爬数据时候遇到的关键坑。
现在分享主要怕查查大哥发现，把这种途径封掉，就麻烦了！
-------------------- 2018-03-30 日志 --------------------
/**
* 数据清理by 企业 name
* 梳理：
* 已开始用url+id作为详细信息查询，发现没过不了20条就要输入验证码，说明这一块控制的比较严格
* 然后过了一天之后发现直接使用名字查询即使是时间很短0.8-1 s 也没被拦截
* 半小时后发现使用名字查询也出现需要验证码的情况，立马改用天眼查进行查询，刚开始用名字查询也没有问题，以为这样就大功告成坐等收货了
* 过了一会发现出现了
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
