码王吴彦祖的博客

由作者亲自开发的ocr识别网站哈哈，暂时汇聚了三十多种验证码模型以及算法，欢迎各路朋友去尝试，包括但不限于： - 四六位验证码 - 不定长验证码 - 计算题验证码 - 滑块验证码 - 图标点选验证码 - 文字点选验证码 - 分类选择验证码 - 其他验证码

关于我的ocr付费专栏介绍

本篇文章的主要目的是识别点选验证码，其中利用ddddocr来辅助识别，这样整体识别验证码的步骤将会非常简单，具体有多简单，请看步骤首先展示一下点选验证码的数据集**数据集介绍：**可以看到，该点选验证码识别是有一张图主背景图，提示需要依次点击哪些字，基本上大部分点选验证码都是这样，按照语序点击主背景图上的字，可能有些是直接以文本的形式告诉你，有些是给你一张图，这样的话识别起来更麻烦一些，因为还要识别语序图上的字。

这里讲解识别思路前，需要注意一个地方，因为是截图，每个设备分辨率以及截图方式的不同，会导致算法准确度有差异，所以在ocr的demo网站中我上传了三种思路方式，识别方式各有差异，可能你的第一种方式准确率有80，他的第二种方式有80，并且整体截图识别的准确率也无法保证到很高，原因除了上述讲的一种外，还有就是整体图库是很大的

本文识别已同步上线至OCR识别网站： http://yxlocr.nat300.top/ocr/other/28腾讯空间推理数据集如下：之前说过，空间推理验证码识别的一般通用方式，做三阶段即可，检测-分类-问题识别，当然也可以将检测和分类用yolo作为一阶段去做，本文就是使用这种方法，吃亏了，泛化性很差，鉴于有限集的问题，只需要多几个ifelse即可解决，不需要做nlp的处理，如果在不着急的情况下，还是老老实实做二阶段吧，已经被友军骂了，下面是具体识别效果

注意，本文只提供学习的思路，严禁违反法律以及破坏信息系统等行为，本文只提供思路。，阿里验证码如上，将图像还原到正确为止即可，还原后如下，具体可以上网站尝试。如有侵犯，请联系作者下架。

不用于之前的验证码，该验证码在确认物体的同时，还要确认物体角度，由于该物体是一个3D的效果，并且角度360度，也可能去做一个360的分类检测，这样太复杂了，而且很可能没有效果，360分类早在旋转验证码中就提出，是很难拟合数据集的，即使现在拟合了一部分数据集，对没有见过的物体也基本拟合不了，这样就没有做模型的必要了

temu的旋转滑块和网易易盾类似，都是有两个缺口图，但是滑块的计算角度和距离完全不同，个人认为相较于网易易盾是要更困难一些的，所以，在阅读本文时，如果你有解决过网易易盾滑块验证码的类似经验，阅读起来会更轻松一点，或者也可以先去看看我之前的文章，网易易盾滑块增强版是如何处理的，temu旋转滑块数据集如下：而实战中，滑块是如下进行滑动的，这里大家也可以直接去网站上触发temu滑块。

本篇文章包含经验和教训总结，我采用了两种方法进行识别，两种方法都各有优劣，其中一种最后不能满足其成果，但我会介绍经过两种方法得到的经验教训，先看下数据集。

通过检测出所有文字的位置，然后准确识别出所有文字，然后再组装成成语，那么很明显，这是一个三阶段任务了，检测+识别+语序，当然，最后的语序可以有很多方法去做，

要求点击倾斜的文字，通过观察发现，每张图有三个倾斜的文字和一个不倾斜的文字，那我们根据这个特性直接用yolo训练二分类检测即可，下面是成品展示，标签0为倾斜字体，标签1为不倾斜字体。

该验证码由固定的五位数字字母或者10以内的计算题组成，gif验证码分很多种形式，有的是通过滑动帧来展示，该验证码则是采用帧隐藏部分验证码，这种验证码虽然每一帧都包含了不同的验证码，但其实处理起来也是非常简单，直接采用帧叠加的方式即可，首先来看下成品展示，在该目录下生成inference模型后，如果想脱离paddle环境，还可以再导出为onnx模型，安装paddle2onnx后即可讲inference模型转换为onnx。注意，本文只提供学习的思路，严禁违反法律以及破坏信息系统等行为，本文只提供思路。

这种反而是最简单的，只需要8分类接口，总共8个方向，图标的检测依然可以用dddd或者自己训练一版，这种图标几百张就能训练处一个不粗的效果了，下面来看成品展示。注意，本文只提供学习的思路，严禁违反法律以及破坏信息系统等行为，本文只提供思路。极验图标方向类数据集如下，根据图标的箭头选择相同方向的物品即可。注意：本文是篇水文，主要展示图标识别的成果。如有侵犯，请联系作者下架。

拼多多双滑块数据集如下，可以看到，正确的缺口和错误的缺口从缺口轮廓上来看是不一样的，有的小伙伴就会想到使用模板匹配去识别，这里最大的一个坑就是，实际上模板匹配是匹配整个图标的像素，而不单单是匹配轮廓，实际上，轮廓的影响微乎其微，并且，错误的缺口背景跟正确的图标背景其实是一模一样或者说非常相似的，如果使用模板匹配，百分之99应该是会匹配到错误的缺口上去，本文使用的方法，最终准确率可以达到90-95。注意，本文只提供学习的思路，严禁违反法律以及破坏信息系统等行为，本文只提供思路。如有侵犯，请联系作者下架。

和某顶象的差不多，图片分割高度是中间固定的，需要注意的是，他并不是把五副图像还原就行，它需要根据题目，还原指定的物品种类，那么这里必然还是要训练分类模型，这里我们只采集上半张图，由于每张物品种类是有明显的分割间隙的，也就是白色区域的图案，放大如下。随后导出成onnx模型，为下一步做准备，由于分割的高度是固定的160，我们在计算分割每个物品后，需要将分割位置坐标计算出来。那么我们即可利用这个特性，将图案分割下来，并且，我们已知所有图像的种类，我们人工筛选种类部分数据集即可。如有侵犯，请联系作者下架。

使用yolo标注还是按照正常的图标去标注即可，当然，你不止需要标注动物的种类，你还要顺带记录动物的颜色、状态，无非是一个类型扩增到几种类型而已，当然这里标注，也有个取巧的办法，使用GroundingDINO去辅助标注，该模型之前我有讲过，这就是一个多模态的模型，只不过同样，他也不会记录动物的颜色状态，在辅助标注的情况下，仍然需要你修改部分标注，不过对比之前，肯定是剩下了很多时间的，用该模型辅助标注，只需要通过xanylabelimg，点击如下AI图标。随后在上方下拉框中选择GroundingDINO既可。

这里的点选最好采用两阶段的方法，即检测+识别，这样可以最好的提升图标抗更能力，出现类似的图标也能够很快的检测出来，至于识别，用分类或者孪生都行，分类和孪生本质上并无差别，你习惯用哪个即可，另外，如果你不考虑高准确率的话，也可以使用sift特征点检测来匹配两个图标的相似度，好处就是，只需要一个检测模型就够了，缺点是经过实测，准确率可能只有百分之50，因为背景上部分图标的干扰确实很严重，ok，这里就说到这了。不仅新增了背景图片还新增了图标种类，但是这样依然没什么好说的，使用yolo检测就可以，具体效果如下。

注意，本文只提供学习的思路，严禁违反法律以及破坏信息系统等行为，本文只提供思路。京东图标点选验证码没什么好说的，做检测就行。如有侵犯，请联系作者下架。

下面重头戏就来了，为了提高整个图像的匹配程度，还需要将多余的像素去掉，以我们人眼之直观的匹配来看，就是将缺口圆的内部边缘和外部边缘相匹配即为匹配成功，所以这里我们再来切割一下空心圆部分，这里我选择切割了15个像素，效果如下。接下来还是老样子计算梯度了，以每5个像素循环，去计算一次梯度，梯度最小即为成功的角度，最后找到最小的角度，我们再次拼接一下，得到效果图，如下。我之前的文章有讲到过如何处理不固定大小的缺口图片，就是将缺口图片进行切割，计算出完整的缺口半径

注意，本文只提供学习的思路，严禁违反法律以及破坏信息系统等行为，本文只提供思路。京东单旋验证码最近更新了，使用AI生成，要求识别角度。

点选验证码，大家用过的最多应该就是yolo了吧，现在yolo已经出到v11系列了，目前最常用的版本还是老版v5或者上一代v8，其实自从v8开始yolo就已经按照v8的框架去迭代更新yolo检测器了，yolo的性能和精度都是毋庸置疑的，但是yolo检测器仅仅只停留在视觉层面，并且如果你需要处理自定义数据，并围绕其定义标注，那可能会有些耗时，于是我找到了完美的解决方案——

该验证码是异形滑块验证码中的一种，缺口旋转+偏移的处理需要你有很好的图像处理知识，能很好的处理透明通道，同时，该验证码需要你能很好的处理缺口和背景之间匹配的关系，该验证码的处理难点就是两个缺口之间如何找到正确的，两个检测框都有很强的相似度，且加上背景图的干扰，在图像处理和有优化上难度大大增加。

这里计算角度也还是和以往一样，计算梯度，但是这里的梯度也必须优化好，每一步优化都是为了最后的准确率，这里防止代码滥用，就不贴出来了，只要计算出差异最小值就是最终角度，经过还原后，正确角度图如下：总结，这里的旋转验证码和以往不同，需要你对每一步的图像处理上掌握的比较熟悉，会使用各种图像处理方法正确处理好外圈图和内圈图的关系，并且在关键阈值上都要进行像素级的优化处理，最后才能得到比较高的准确率。

这就是典型的利用透明通道来造成显示文字的效果，这里针对透明的还原也需要注意，因为单纯的去计算通明通道，可能还会造成识别效果不准的问题，这里读取可以看到RGB的数值均为0，那么只需要在还原RGB时，考虑alpha通道去输出RGB即可，通过以下代码转换后即可。该文章模型已经上线ocr识别网站，欢迎测试！，地址：https://yxlocr.windy-rain.cn/ocr/textclick/7。注意，本文只提供学习的思路，严禁违反法律以及破坏信息系统等行为，本文只提供思路。如有侵犯，请联系作者下架。

今天是1024程序员节，我在优快云上正式发文已有两年之多，我刚开始学爬虫时，由于我接触这块内容还比较早，所以我最初开始做专栏就是OCR识别，逆向的知识是一点没学，当时觉得学AI方面的挺有意思，我几乎是把所有的精力用于学习图像处理、深度学习这些内容上，这方面的书籍我也买了许多本文大致将从滑块验证码的。

通过回答问题来识别以上验证码，例如一只狗，点击仙人掌等等，那么我们针对问题的分类也可以使用clip模型来识别

该文章模型已经上线ocr识别网站，欢迎测试！，地址：https://yxlocr.windy-rain.cn/ocr/iconclick/2。注意，本文只提供学习的思路，严禁违反法律以及破坏信息系统等行为，本文只提供思路。如有侵犯，请联系作者下架。

注意，本文只提供学习的思路，严禁违反法律以及破坏信息系统等行为，本文只提供思路如有侵犯，请联系作者下架。

注意，本文只提供学习的思路，严禁违反法律以及破坏信息系统等行为，本文只提供思路如有侵犯，请联系作者下架。

旋转验证码基本是旋转小图到一定的角度去匹配大图的，通常的旋转验证码，中间缺口图部分大小固定，但是在某东上，大小不固定

顶象图标验证码识别训练

注意，本文只提供学习的思路，严禁违反法律以及破坏信息系统等行为，本文只提供思路。这种就是最简单的分类识别了，用迁移学习resnet训练即可，下面来看成品。如有侵犯，请联系作者下架。

处理方法其实没什么好说的，只有yolo去检测水杯即可，这里需要注意的点就是背景图可能会出现两只水杯，包含一只完整的干扰水杯，这里在标注的时候只需要标注缺口水杯即可，缺口水杯需要分成两个类，左边的缺口和右边的缺口，这里标注使用labelimg或者x-anylabeling都行，标注情况如下。全部标注完之后，由于这里的水杯缺口并不明显，所以泛化性不一定很好，这里推荐数据集使用2k张左右，模型也最好使用大模型训练，训练情况如下。注意，本文只提供学习的思路，严禁违反法律以及破坏信息系统等行为，本文只提供思路。

文字点选如何训练，之前的文章说了很多遍了，这里只放现成的模型供查看，有需要成品联系即可，下面看具体效果图。注意，本文只提供学习的思路，严禁违反法律以及破坏信息系统等行为，本文只提供思路。如有侵犯，请联系作者下架。

文字点选如何训练，之前的文章说了很多遍了，下面看具体效果图。注意，本文只提供学习的思路，严禁违反法律以及破坏信息系统等行为，本文只提供思路。如有侵犯，请联系作者下架。

可以看到，此种验证码非常变态，旋转角度不固定，干扰背景不固定，字符长度不固定，弯曲形变都是不固定的，在人眼都很难分辨验证码的情况下，其实都是对于模型来讲，也是比较困难的哈哈，传统验证码可能小几百张就能达到很好的效果了，是因为，验证码难度比较简单，通常都是4,6位定长，但是对于模型而言，无非就是增加数据量。由于该验证码的复杂度，自己写一个rcnn或者其他模型，来优化改数据集进行训练变的尤为困难复杂，所以这里强烈推荐百度飞桨的开源模型。在得到较好的loss后，导出模型。如有侵犯，请联系作者下架。

可以看到，无论是古风图片还是卡通图，基本上都能找到正确角度，该方法不采用模型训练的方式，模型训练目前市面上大致都是360角度分类训练，该方法计算复杂度大，模型精度低，因为所有图像角度在细分成360度分类后，其模型很难泛化，本文方法其实不适用模型，其运行速度在高也能控制在几百毫秒以内，该速度取决于算法精度，使用计算的图像算法越复杂，图像精度越高，运行时间越长，从下图中可以看出，最长也能控制在大约300-400毫秒以内。注意，本文只提供学习的思路，严禁违反法律以及破坏信息系统等行为，本文只提供思路。

第一步，还是先将缺口图添加至背景图中，这个还是跟之前的方法一样，计算旋转掩膜，然后覆盖添加即可，然后可以看到，缺口图片是有很明显的对比度的，且这种对比度是从上往下，没有规律（跟角度没有关系），而在背景中没有这种明暗对比度的变化，那么我们将缺口图对比度调高，背景图亮度对比度调低，最后效果就是这样。因为旋转验证码能够处理的方式实在太多了，我将以处理的难度和方式依次讲解最简单到最难，到精度最高的方式，本文还是延续之前使用梯度计算的方式来计算旋转验证码。，本文中用不到此款工具，此工具将在后续的文章中展现作用。

最近，某书的旋转验证码又更新了，在我之前的文章有讲过利用梯度幅度计算图像边缘变化，然后计算出最合适的角度，如果使用我的代码之后那么这种方法对于小红书显然失效了，具体原因我们来分析一下，先看一下缺口图和背景图。当滑动完成之后，会以当前的角度在本地生成一张正确的图片，经过批量标注后，就能得到所有图片正确的0度角，如下。注意，本文只提供学习的思路，严禁违反法律以及破坏信息系统等行为，本文只提供思路。实现了几个简单的小功能，加载数据集目录，切换下一张，然后拖动角度进行模拟还原。

可以看到，除了在原来带色彩的图标以外，还多了一个灰色的图标，经过测试呢，这张灰色的其实就是干扰项，如果说这里使用yolov8默认配置呢，其实只要不标注这种干扰项就可以了，因为有的小伙伴会做更多的数据增强来优化模型的效果，数据增强包含其中的色彩增强，所以有可能你的色彩增强，会导致目标图标和干扰图标的颜色差异化不明显，从而导致召回率不是很稳定（当然这里的干扰图标很少，所以也不会不稳定），那么在标注完经过训练后呢，map等值都达到了较高的水平。现在，我们在使用代码进行预测展示，结果如下。