CNN识别学库bao的验证码

最新推荐文章于 2024-04-08 12:11:48 发布
原创 最新推荐文章于 2024-04-08 12:11:48 发布 · 6.7k 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#爬虫 #验证码 #CNN #识别

部署运行你感兴趣的模型镜像

前言

  • 背景
    最近在看深度学习相关知识，正好手上一个爬虫外包有个需求：爬取 学库bao的全站数据。官方传言题目有一千多万道，其中每道题要查看答案和解析，都需要识别验证码（数字+字母，四个字符）。一般的，打码平台一块钱可以识别200张，算下来得要5万的打码费用，还没算失败率。

  • 图片示例
    验证码示例1      验证码示例2    验证码示例3    验证码示例4

  • 参考
    本文参考了《CNN破解简单验证码(Tensorflow实现)》。网上一搜”验证码 CNN”，大部分都是类似的文章，用captcha模块生成验证码进行训练、识别，甚至代码都是一样的，真没意思。后来发现51CTO视频课程里也有讲这个案例，我把它上传到云盘了（链接: https://pan.baidu.com/s/1iuMfSlWyTm8SbxHYeDoBSQ 密码: shjm），感觉视频里的讲解比其他博客详细多了。

  • 代码
    GitHub地址：cnn_on_captcha、captcha_identify。

  • 正确率
    训练样本6500，测试样本500，识别率达92.4%。

以往的，识别验证码的流程一般是先去噪，再切割，然后用最近邻去分类识别。但是去噪和切割这两个步骤，经常都不那么好做。而CNN不需要去噪和切割，直接整张验证码拿去训练和识别。不用做针对性的去噪和切割，可以省去很大工作量。



正文

采集样本

CNN识别验证码有优点也有不足，它其中的一个缺陷就是需要更多的样本做训练。文章《识别扭曲干扰性验证码》中提到94%的识别率需要400W张图片，不知真假，但确实吓人。
验证码识别率
难怪网上一搜”CNN 验证码识别”，出来的全都是用captcha模块生成的验证码做训练，敢情他们是找不到训练样本呀。

然而我的任务是识别学库bao的验证码，就算不能收集这么多的验证码，也要试一试。采集验证码的流程是下载验证码 —> 打码平台打码 —> 返回给学库bao判别正误。有些博客说人工识别并标注验证码，有些原始，我用的是云打码，采集了7000张验证码，费用还不到40元，何苦为难自己。另外，打码平台识别的结果并不一定百分百正确，必须返回给原网站，根据反馈判断识别正误。

采集验证码图片的代码：crawl_captcha.py，如果要采集其他网站的验证码，稍加修改即可。
（图片可以自行跑上面的代码采集，我将我采集到的放在云盘了，可以拿来直接用，链接: https://pan.baidu.com/s/18i2xoGth8INChhCWfROZpw 密码: vrew 。如果百度网盘失效就用新浪微盘：http://vdisk.weibo.com/lc/3AO6EQDinZjxwfeVbuZ 密码：L70M）


训练和测试

模型的训练和测试，这个没什么好说的，优快云上一搜，千篇一律。我这里只是将图片源换成了本地采集好的验证码，代码中调一下图片大小。


尝试和改进

嗯，好玩的在这里。无知的初学者，瞎捣鼓系列。
（注意，要先把训练样本和测试样本（captchas文件夹和test文件夹）放到项目目录。除了captcha01，其他都要先运行crop_captcha.py将图片切割成单字符，再进行训练。）

  1. 初版本
    代码：captcha01 。
    最初，6500张图片，不做任何处理，每次随机抽取64张，训练2W批次。耗时80分钟，准确率3.4%，低的可怜，不忍直视。

  2. 切割
    代码：captcha02 。
    看来这点数据量，基本上是没法直接训练了。网络模型还没能学习到验证码的特征，那我们就清除一些无用的杂质和边缘，将更清楚、更精准的样本喂给它。去噪我是不想做的，但切割还是比较容易的，把四个字符单独切割出来，把不必要的图片边缘清除掉。这样可以很大程度地降低模型学习的压力，而且样本量也变成原来的四倍了。
    a2    b1    c    d    e    f    g     h    i    j    k
    切割以后总共2.6万张图，训练2W批次，耗时23分钟，准确率82.2%（四个字符同时正确）。这准确率立马上来了，基本上可以拿来用了。
    （注：因打码平台经常将大小写忽略，故训练的时候将全部大写字母作小写看待。）

  3. 除去pooling层
    代码：captcha03 。
    切割后的图片大小为6*18，字符已经精细到1个像素上去了，已经不能再缩减了。而pooling层很重要的一个作用就是在保留主要特征的同时降低参数（纬度）和计算量，此时这个作用并不大，所以可以考虑把pooling层去掉。
    这里写图片描述     这里写图片描述    这里写图片描述    这里写图片描述
    训练2W批次，耗时37分钟，准确率89.2%。

  4. 新增一层网络
    代码：captcha04 。
    验证码的识别，一般的选择三层卷积就已经有比较好的效果，但我还是好奇四层卷积，识别率将会升降多少。
    训练2W批次，耗时44分钟，准确率91.2%。
    训练6W批次，耗时135分钟，准确率91.6%。

  5. 将第三层的厚度64变成128
    代码：captcha05 。
    训练2W批次，耗时53分钟，准确率88.8%。
    训练6W批次，耗时207分钟，准确率92.4%。


开启验证码识别服务

好了，模型已经训练好了。接下来就是使用了。我使用了Django开了一个服务，需要识别验证码的时候只需将验证码post过去就能返回识别结果了。代码：captcha_identify 。
启动命令：python manage.py runserver 127.0.0.1:8000

在爬虫中，只需要调用下面的方法即可。

def identify(filename):
    try:
        r = requests.post('http://127.0.0.1:8000/captcha_identify/', files={'image': (filename, open(filename, 'rb'), 'image/png')})
        return r.content
    except Exception as e:
        return ''



结语

92.4%的识别率，这已经算比较高了，毕竟训练样本才这么些。而且识别率跟噪声有关，这个网站有些验证码的噪声线条，已经让字符完全无法识别了。所以识别率提高到一定程度就很难再提高了。
无法识别1    无法识别2    无法识别3    无法识别4

一年多没写文章了，有点生疏。本文借鉴captcha验证码的识别案例，记录识别学库bao验证码的过程，目的是总结和分享，学艺不精，纯属捣鼓，错误之处各位多批评指出。

您可能感兴趣的与本文相关的镜像

Yolo-v5

Yolo-v5

Yolo

YOLO（You Only Look Once）是一种流行的物体检测和图像分割模型，由华盛顿大学的Joseph Redmon 和Ali Farhadi 开发。 YOLO 于2015 年推出，因其高速和高精度而广受欢迎

cnn网络验证码识别训练模型
05-25
自定义cnn网络训练的验证码识别模型
基于CNN的验证码识别程序
06-27
解压后运行interface.fig。含有界面，分为网络训练、网络测试、验证码识别三个功能。
Python-用CNN识别验证码的实用教程
08-11
用CNN识别验证码的实用教程，从数据标定到搭建服务， tensorflow captcha recognization practical tutorial
CNN大战验证码
aix26249的博客
09-25 480
介绍   爬虫江湖，风云再起。自从有了爬虫，也就有了反爬虫；自从有了反爬虫，也就有了反反爬虫。   反爬虫界的一大利器，就是验证码（CAPTCHA），各种各样的验证码让人眼花缭乱，也让很多人在爬虫的过程知难而返，从入门到放弃，当然，这就达到了网站建设者们的目的。但是，但是，所谓的验证码，并不是牢不可破的，在深度学习（Deeping Learning）盛行的今天，很多简单的验证码也许显得不...
基于 CNN 的验证码破解实战项目
zandaoguang的博客
11-15 363
♚作者：沂水寒城，优快云博客专家，个人研究方向：机器学习、深度学习、NLP、CVBlog:http://yishuihancheng.blog.youkuaiyun.com在我们...
基于 CNN 卷积神经网络训练验证码识别模型的尝试
08-14
在训练CNN模型识别验证码时，研究者需要准备大量的验证码图像数据集。这些数据集应该涵盖各种字体、样式和背景干扰，以保证模型的泛化能力。接着，研究者需要对这些数据进行预处理，如归一化、大小调整、增强等，...
基于 Keras 实现的 CNN 卷积卷积神经网络验证码识别系统
08-15
本文将介绍如何使用Keras框架实现一个基于卷积神经网络（Convolutional Neural Networks, CNN）的验证码识别系统。 Keras是一个开源的神经网络库，运行在Python环境中，它是一个高层神经网络API，能够以TensorFlow...
一次运用 CNN 卷积神经网络训练验证码识别模型的尝试
08-14
在图像识别任务中，CNN能够自动学习图像中的低级特征，如边缘和角点，以及更高级的特征，如纹理和对象部分，这使得它在识别验证码这种通常包含扭曲和复杂背景的图像时非常有效。 在尝试使用CNN训练验证码识别模型时...
基于CNN的四位数字验证码字符分割识别研究
06-17
本文主要研究如何利用卷积神经网络（CNN）实现4位数字验证码的识别，重点聚焦于字符分割这一核心环节。验证码识别对于网络安全和防止自动化操作至关重要，而CNN凭借其强大的图像处理能力，能够高效地完成此类任务。...
CNN 识别图形验证码
勿忘初衷
04-13 7061
用卷积神经网络预测可变长的验证码，模型用的谷歌的这篇《Multi-digit Number Recognition from Street View Imagery using Deep Convolutional Neural Networks》。 代码在github上：https://github.com/xingjian-f/Captcha-hacker.git
验证码识别dll库,识别率95%，附调用接口。
10-23
Java调用只支持32位jdk环境调用此接口，识别率超高。 注意：若在运行过程中报错找不到**jdk/bin/CClib.dll,只需将资源中的CClib.dll复制到**jdk/bin/路径下即可。
Python搭建Keras CNN模型破解网站验证码
01-30
用Keras来搭建一个稍微复杂的CNN模型来破解以上的验证码
用CNN识别验证码
lizz2276的博客
10-16 2200
用CNN识别验证码_It will be的博客-优快云博客_cnn验证码识别 一，基本思路 生成数据(验证码样本) 1.验证码类型 我们这里生成的验证码是当前最常见的验证码即由26位大小写英文字母和0到9十个数字组成的字符型验证码。 2.生成方式 我们可以选择两种方式来生成我们的训练数据。一种是一次性生成几万张图(保存到本地)，另一种是定义一个数据生成器(数据未被保存)。两种方式各有千秋，第一种方式的好处是训练的时候显卡利用率高，如果你需要经常调参，可以一次生成，多次使用；第二种方式的好处是你不
cnn验证码识别
qq_40064490的博客
10-18 334
import tensorflow as tf import os import pandas as pd def load_pics(filename_list): """ 1、读取图像数据，csv文件中的file_num为标签值的编号 :return: """ # print(filename_queue) # 构造文件名队列 ...
使用卷积神经网络（CNN）识别验证码
ttocr796的博客
04-08 1320
验证码（CAPTCHA）是一种常见的用于区分人类和机器的技术，它要求用户完成一些简单的任务或者输入一些字符以验证其身份。本文将介绍如何使用卷积神经网络（CNN）来识别常见的字符验证码，并提供详细的代码示例。首先，我们需要收集带有字符验证码的图片数据，并将其分为训练集和测试集。我们将使用Keras构建一个简单的卷积神经网络模型，用于识别验证码中的字符。现在，我们将训练我们的卷积神经网络模型，并使用测试数据进行验证。最后，我们可以使用训练好的模型来进行验证码识别预测。# 加载待识别的验证码图像。
CNN（卷积神经网络）识别图形验证码（全网最通俗易懂，最全面的讲解）
热门推荐
HACKERRONGGE的博客
11-18 1万+
本文详细的介绍了人工智能从机器学习到深度学习已经神经网络的详细介绍，顺带简单的介绍了CNN在图像识别上的应用。
tensorflow训练cnn网络识别验证码
shareinfo2018
07-18 4840
生成数字验证码图片： from captcha.image import ImageCaptcha # pip install captcha import numpy as np import matplotlib.pyplot as plt from PIL import Image import random number = ['0','1','2','3','
CNN实现验证码识别
lizz2276的博客
10-16 1369
CNN实现验证码识别 - 山上有风景 - 博客园 目录 前面学过数字识别（单任务），这里基于CNN来实现验证码（多任务的识别）一：验证码图片生成 （一）定义全局信息 （二）获取验证码数字序列 （三）生成验证码 （四）转灰度图像（3维转1维） （五）标签转one_hot向量格式 （六）按批次生成数据二：构建CNN结构 （一）实现公共函数 （二）定义变量占位符 （三）定义CNN结构，训练结构---重点 （四）模型训练、保存 补充：三：模型调用 （一）模型调用 前面学过数字识别（...
点选验证码训练
最新发布
08-31
点选验证码训练是为了让模型能够准确识别并按照要求完成点选操作，以下是一些常见的训练方法和相关技术： ### 训练方法 #### 监督学习 在监督学习方法中，需要准备大量带有标注的训练数据。这些数据包含验证码图片以及对应的正确点选位置或目标信息。例如，对于要求点选特定物体的验证码，标注会明确指出图片中该物体的位置。使用卷积神经网络（CNN）作为基础模型，将标注好的图片输入到网络中进行训练。通过训练，模型学习到图片特征与正确点选结果之间的映射关系。训练过程中会多次迭代，不断调整模型的参数，以最小化预测结果与标注结果之间的误差。常用的损失函数如交叉熵损失函数可以衡量模型预测的准确性，通过反向传播算法更新模型参数，使损失函数值逐渐降低，从而提高模型的性能。 ```python import torch import torch.nn as nn import torch.optim as optim from torchvision import datasets, transforms from torch.utils.data import DataLoader # 定义简单的CNN模型 class SimpleCNN(nn.Module): def __init__(self): super(SimpleCNN, self).__init__() self.conv1 = nn.Conv2d(3, 16, kernel_size=3, padding=1) self.relu1 = nn.ReLU() self.pool1 = nn.MaxPool2d(2) self.fc1 = nn.Linear(16 * 16 * 16, 10) def forward(self, x): x = self.pool1(self.relu1(self.conv1(x))) x = x.view(-1, 16 * 16 * 16) x = self.fc1(x) return x # 数据预处理 transform = transforms.Compose([ transforms.Resize((32, 32)), transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)) ]) # 加载数据集（假设已经有标注好的数据集） train_dataset = datasets.ImageFolder(root='path/to/train_data', transform=transform) train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True) # 初始化模型、损失函数和优化器 model = SimpleCNN() criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(model.parameters(), lr=0.001, momentum=0.9) # 训练模型 for epoch in range(10): running_loss = 0.0 for i, data in enumerate(train_loader, 0): inputs, labels = data optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() print(f'Epoch {epoch + 1}, Loss: {running_loss / len(train_loader)}') ``` #### 迁移学习 迁移学习是利用在大规模数据集上预训练好的模型，将其应用到点选验证码训练任务中。由于预训练模型已经学习到了丰富的图像特征表示，在点选验证码训练时，可以在预训练模型的基础上进行微调。保留预训练模型的大部分结构和参数，只对最后几层进行修改和训练。这样可以减少训练所需的数据量和时间，同时提高模型的泛化能力。例如，使用在ImageNet数据集上预训练好的ResNet模型，将其最后一层全连接层替换为适用于点选验证码任务的输出层，然后在点选验证码数据集上进行微调训练。 ```python import torch import torch.nn as nn import torch.optim as optim from torchvision import models, datasets, transforms from torch.utils.data import DataLoader # 加载预训练的ResNet模型 model = models.resnet18(pretrained=True) num_ftrs = model.fc.in_features model.fc = nn.Linear(num_ftrs, 10) # 假设是10分类的点选验证码任务 # 数据预处理 transform = transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)) ]) # 加载数据集（假设已经有标注好的数据集） train_dataset = datasets.ImageFolder(root='path/to/train_data', transform=transform) train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True) # 定义损失函数和优化器 criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(model.parameters(), lr=0.001, momentum=0.9) # 训练模型 for epoch in range(10): running_loss = 0.0 for i, data in enumerate(train_loader, 0): inputs, labels = data optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() print(f'Epoch {epoch + 1}, Loss: {running_loss / len(train_loader)}') ``` ### 相关技术 #### 图像增强技术 为了增加训练数据的多样性，提高模型的泛化能力，会使用图像增强技术对训练数据进行处理。常见的图像增强方法包括旋转、翻转、缩放、亮度调整、对比度调整等。例如，将验证码图片随机旋转一定角度、水平或垂直翻转、调整亮度和对比度等操作，生成新的训练样本。这样可以模拟不同环境下的验证码情况，让模型学习到更鲁棒的特征。 ```python import torchvision.transforms as transforms # 定义图像增强变换 transform = transforms.Compose([ transforms.RandomRotation(15), transforms.RandomHorizontalFlip(), transforms.ColorJitter(brightness=0.2, contrast=0.2, saturation=0.2, hue=0.1), transforms.ToTensor() ]) ``` #### 目标检测技术 对于点选验证码中需要识别特定目标的任务，目标检测技术可以发挥重要作用。目标检测算法如Faster R - CNN、YOLO等可以在图片中定位出目标物体的位置。在训练过程中，使用这些目标检测算法对验证码图片进行处理，得到目标物体的边界框信息。将这些信息作为辅助特征输入到点选验证码模型中，帮助模型更准确地进行点选判断。 #### 注意力机制 注意力机制可以让模型更加关注图片中与点选任务相关的区域。在模型中引入注意力模块，如SE（Squeeze - and - Excitation）模块、CBAM（Convolutional Block Attention Module）等。这些模块可以自适应地调整特征图的通道和空间注意力权重，使模型更加聚焦于重要的特征区域，提高点选的准确性。
评论 9
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值