将验证码识别功能集成到现有的爬虫框架

最新推荐文章于 2023-09-25 14:41:26 发布

原创最新推荐文章于 2023-09-25 14:41:26 发布 · 348 阅读

2 ·

CC 4.0 BY-SA版权

本文介绍了一种基于TensorFlow的验证码识别方法，并分享了优化经验。通过训练4000-5000个样本数据集，可达到90%以上的识别准确率。此外，还实现了验证码识别的web服务，并将其集成到爬虫框架NetDiscovery中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

验证码的识别

过年期间我曾经写过一篇文章《一次简单的验证码识别以及思考》, 目前已经对该功能做了一些优化，可以支持几种类型的验证码识别。其核心思想仍然是上一篇文章所提到的，使用tensorflow来训练标注过的验证码。目前，多种类型的验证码训练完之后可以放到一个模型中。未来，有新增的验证码类型通过训练之后也可以整合到这个模型中。

通过多次训练得到的经验大致是，一种类型的验证码标注4000-5000个数据，就能获得90%以上的识别准确率。

集成到爬虫框架

爬虫框架NetDiscovery，github地址：https://github.com/fengzhizi715/NetDiscovery

对于验证码的识别，最终暴露出来是一个web服务。该web服务采用Vert.x进行开发，对于爬虫而言，只需知道它是一个web服务即可，无需知道后面的逻辑。而且，web服务的地址也可能会更换。

640?wx_fmt=png

所以，我在爬虫框架中封装了一个工具方法，只需要传入图片的url地址就能够返回验证码的内容。

/**
* 返回验证码的内容
* @param imageUrl 验证码的url
* @return
*/
public static String getCaptcha(String imageUrl)

测试几张图片

System.out.println(Utils.getCaptcha("http://47.97.7.119/qianmou/images/captcha/1.png"));
System.out.println(Utils.getCaptcha("http://47.97.7.119/qianmou/images/captcha/2.png"));
System.out.println(Utils.getCaptcha("http://47.97.7.119/qianmou/images/captcha/3.png"));
System.out.println(Utils.getCaptcha("http://47.97.7.119/qianmou/images/captcha/4.png"));
System.out.println(Utils.getCaptcha("http://47.97.7.119/qianmou/images/captcha/5.png"));
System.out.println(Utils.getCaptcha("http://47.97.7.119/qianmou/images/captcha/6.png"));