gif验证码识别/验证码识别

注意，本文只提供学习的思路，严禁违反法律以及破坏信息系统等行为，本文只提供思路
如有侵犯，请联系作者下架

本文识别已同步上线至OCR识别网站： http://yxlocr.nat300.top/ocr/other/16

最近某集团更新了验证码，采用gif验证码，部分数据集展示如下




该验证码由固定的五位数字字母或者10以内的计算题组成，gif验证码分很多种形式，有的是通过滑动帧来展示，该验证码则是采用帧隐藏部分验证码，这种验证码虽然每一帧都包含了不同的验证码，但其实处理起来也是非常简单，直接采用帧叠加的方式即可，首先来看下成品展示，使用本文所提供的方法，准确率可以达到98%

不管使用pillow还是opencv都可以实现帧叠加的效果，下面我将采用base64编码转成cv2来实现帧叠加的效果

import imageio
import cv2
import numpy as np

gif_file = "output_image.gif"
reader = imageio.get_reader(gif_file)
frames = [frame for frame in reader]


# 将 RGB 转换为 BGR
frames_bgr = [cv2.cvtColor(frame, cv2.COLOR_RGB2BGR) for frame in frames]

# 获取第一帧的尺寸
frame_height, frame_width, _ = frames_bgr[0].shape

# 创建空白画布，初始化为黑色
merged_image = np.zeros((frame_height, frame_width, 3), dtype=np.uint8)

# 遍历所有帧，逐帧叠加
for frame in frames_bgr:
    # 将当前帧叠加到画布上
    # 使用 cv2.addWeighted 来实现透明叠加效果
    merged_image = cv2.addWeighted(merged_image, 0.8, frame, 0.2, 0)

# 保存合并后的图像
cv2.imwrite(f"1.png", merged_image)

我们批量叠加来看下效果

可以看到，依然还是很难分辨的，因为我们的帧叠加是不做任何图像增强的操作，当然也可能跟我的透明阈值有关，但其实做到这个程度就够了，只是人眼在标注上很难区分，但模型只要通过训练，对于这些验证码还是小case的，这种验证码放在业界其实也就是入门级别的训练了，这里我们也不造轮子，直接使用paddleocr进行训练，这里我使用paddleocrv4进行训练，v4是当前PaddleOCR最新版本，首先我们需要标注数据，标注完之后编写paddleocr需要的标签文件如下：

上述图片中，我将带框的验证码，也就是错误的验证码（这部分实际上是脏数据）标记为-来处理，总共大概准备几千张即可（你也可以增量训练）
随后只用en_PP-OCRv4_rec.yml配置文件来进行模型的训练，模型参数配置默认即可，epoch稍微增加些

我这里采用双卡进行训练学习

python3 -m paddle.distributed.launch --gpus '0,,1' tools/train.py -c configs/rec/PP-OCRv4/en_PP-OCRv4_rec.yml -o Global.pretrained_model=./pretrain_models/en_PP-OCRv4_rec_train/best_accuracy

训练结束后，可以将其导出为inference模型

python3 tools/export_model.py -c configs/rec/PP-OCRv4/en_PP-OCRv4_rec.yml -o Global.pretrained_model=./output/rec_ppocr_gif/best_accuracy Global.save_inference_dir=./inference/en_PP-OCRv4_rec/

生成后模型目录如下：

在该目录下生成inference模型后，如果想脱离paddle环境，还可以再导出为onnx模型，安装paddle2onnx后即可讲inference模型转换为onnx

paddle2onnx --model_dir ./inference/en_PP-OCRv4_rec  --model_filename inference.pdmodel  --params_filename inference.pdiparams  --save_file ./inference/en_PP-OCRv4_rec/model.onnx --opset_version 11  --enable_onnx_checker True

转换后，可以看到在同级目录有个model.onnx

随后，我们可以使用onnx模型进行，由于脱离了paddle环境，图像的预处理是需要我们手动完成的

def ocr_predict(img_reg):
    chars = '0123456789:;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\\]^_`abcdefghijklmnopqrstuvwxyz{|}~!"#$%&\'()*+,-./ '
    img_size = (48, 320, 3)

    imgH, imgW, imgC = img_size[:3]
    max_wh_ratio = imgW / imgH
    imgW = int((imgH * max_wh_ratio))

    h, w = img_reg.shape[:2]
    ratio = w / float(h)
    if math.ceil(imgH * ratio) > imgW:
        resized_w = imgW
    else:
        resized_w = int(math.ceil(imgH * ratio))
    # recg_scr = cv2.resize(img_reg, (img_size[1],img_size[0]))

    resized_image = cv2.resize(img_reg, (resized_w, imgH))
    resized_image = resized_image.astype("float32")
    resized_image = resized_image.transpose((2, 0, 1)) / 255
    resized_image -= 0.5
    resized_image /= 0.5
    padding_im = np.zeros((3, 48, 320), dtype=np.float32)
    padding_im[:, :, 0:resized_w] = resized_image
    padding_im = np.expand_dims(padding_im, axis=0)

    recg_scr = np.asarray(padding_im, dtype=np.float32)
    # image = Image.open(dir_name + file)
    # image = valid_transform(image)
    # image = image.unsqueeze(0)
    # ort_inputs = {ort_session.get_inputs()[0].name}
    # output = ort_session.run(None, ort_inputs)

    inname_session = [input.name for input in ort_session.get_inputs()]
    outname_session = [output.name for output in ort_session.get_outputs()]
    out_put = ort_session.run(outname_session, {inname_session[0]: recg_scr})
    preds = np.argmax(out_put[0], axis=2)

    # preds_idx = preds.argmax(axis=2)
    preds_prob = np.max(out_put[0], axis=2)
    # print(preds)
    preds = preds[0]
    plate = ""
    last_babel = -1
    idx = []
    for i in range(len(preds)):
        if preds[i] != 0 and preds[i] != last_babel:
            plate += chars[int(preds[i]) - 1]
            idx.append(i)
        last_babel = preds[i]
    plate_conf = []
    for i in range(len(idx)):
        plate_conf.append(preds_prob[0][idx[i]])

    return plate

我们批量测试一下验证码的，准确率很高！