【AI实践】个人免费数学老师系列之（二）：自动切题【目标检测】

已于 2024-10-28 11:11:32 修改
阅读量1k 收藏 31
点赞数 20
分类专栏： AI数学老师 AI实践 AI知识 文章标签： 人工智能 目标检测 计算机视觉
于 2024-10-28 11:06:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/vison20080808/article/details/143288440
版权
出发点：承接上一篇 【AI实践】个人免费数学老师系列之（一）：系统概述，本篇介绍识别流程的第一步。
顺带总结科普一下当下大模型的核心架构Transformer、CV领域目标 检测算法等概念。
另将该自动切题方案代码开源。

0、提纲：

  • 核心概念
  • 项目开源
  • 参考资料

1、核心概念

目标检测（Object detection）是计算机视觉（Computer Vision，CV）中的一类重要任务（Task），旨在识别图像中的物体并确定其位置（“what objects are located at where”）。

本项目任务为，识别&框定图像中每道题目所在的位置。检测依据为题号、版面分布等特征。

在深度学习时代，几乎所有现代目标检测器都共享相同的范式：用于特征提取的主干（Backbone）、用于整合不同层次特征的脖子（Neck）、用于定位与分类任务的检测头（Head）。

1.1 主干（Backbone）

Transformer模型首次在2017年Google的论文《Attention Is All You Need》中被提出。2018年其引申的变体BERT模型引领自然语言处理（NLP）的各大榜单。

当下最成功的大模型（LLM、例如OpenAI o1、Claude3.5、LLama3.2）都是Transformer Decoder架构。

Transformer的核心是自注意力机制（上图公式）。它能够更好地捕获全局的上下文信息，这也是Transformer有别于其它特征捕捉机制（如CNN、RNN）的关键所在。

以上图为例，我们想要翻译“The animal didn't cross the street because it was too tired”。 当Transformer在第5层编码器编码“it”时的状态，可视化之后显示it有一部分注意力集中在了“The animal”上，并且把这两个词的信息融合到了"it"中。

Transformer最初是为 NLP 任务设计的（出于自然语言天然的时序属性），但该架构已被成功扩展到CV和多模态领域。 本方案采用微软2021年开源的Swin-Transformer模型：

Swin-Transformer在层叠结构的每一层中对每个局部窗口应用下图的移动窗口（Shifted Window）计算技巧，扩充关注视野的同时，有效降低了计算成本。

1.2 脖子（Neck）

本方案应用目标检测领域中主流的（历史也很悠久、2017年由Facebook提出）特征金字塔网络（FPN、上图中的d），同时利用不同层次的特征，从而提升模型对各种大小目标的检测能力。

1.3 检测头（Head）

本方案应用2021年微软提出的《Dynamic Head: Unifying Object Detection Heads with Attentions》。

通过引入多种自注意力机制，统一了不同尺度、空间位置和任务的特征处理方式，从而提升了目标检测的表现。

1.4 提升策略（ATSS）

工业应用时，做目标检测任务，出于执行速度考虑，大多会选用单阶段检测器（one-stage methods），此时往往会面临存在大量负样本而正样本稀缺的情况，导致模型训练效果不佳。

2020年北邮提出的ATSS (Adaptive Training Sample Selection)策略，通过引入自适应样本选择机制，动态选择与真实目标更为接近的样本（根据均值和标准差设定IoU阈值，确保选择的正样本质量）进行训练，取得了显著的效果提升。

2、项目开源

  • 安装&训练&推理：可参看代码仓库中的README.md
  • 验证集指标：

  • 运行效果截图：

3、参考资料

（1）图解 Transformer [译]：

https://baoyu.io/translations/llm/illustrated-transformer

（2）DynamicHead：

https://github.com/microsoft/DynamicHead/tree/master

（3）Swin-Transformer：

https://github.com/microsoft/Swin-Transformer

（4）Transformer动画讲解 - 注意力工作原理（Q、K、V）：

https://mp.weixin.qq.com/s/IhyOJBbc9xrNAopIqPxXDg

（5）Visualizing Attention, a Transformer's Heart：

https://www.3blue1brown.com/lessons/attention

另附上该系列目录：

【AI实践】个人免费数学老师系列之（一）：系统概述

【AI实践】个人免费数学老师系列之（二）：自动切题【目标检测】（本篇）

【AI实践】个人免费数学老师系列之（三）：题目识别【OCR2.0】

【AI实践】个人免费数学老师系列之（四）：题目解析【Qwen2.5-Math】

【AI实践】个人免费数学老师系列之（五）：工程实践【代码开源】

学习系列三：V8目标检测与分割自动化标注
m0_60890175的博客
08-26 620
学习系列三：V8目标检测与分割自动化标注
目标检测分割大模型—零样本实现目标检测/图像分割/目标跟踪
weixin_43825188的博客
06-10 3626
Grounding DINO 1.5 在其前身 Grounding DINO 的基础上，通过结合更大的视觉 backbone 扩大模型尺寸，并使用超过2000万的 Grounding 数据获得了丰富的语料，大幅提升了检测精度和速度，且通过Pro和Edge版本分别针对不同应用场景进行了优化。相反，视觉提示提供了一种更直观、更直接的对象表示方法。如工业生产流水线器件检测，交通航运领域的船舶、飞机检测，农业领域的农作物、果蔬检测，生物医学领域的细胞、组织检测，物流领域的货物检测，环境领域的野生动物监测等。
目标检测与YOLO(2) + 语义分割(FCN)
weixin_41968829的博客
04-07 1714
本文介绍了YOLOv1 网络结构，包围框与置信度，YOLO损失函数，YOLO训练与NMS算法，并了解了语义分割问题，深度学习图像分割算法发展，语义分割基本思想，FCN具体实现，FCN训练结果，FCN评价指标与标注工具。
基于OpenCV的试卷的分自动识别系统
weixin_51182789的博客
02-01 1654
一、预处理流程 二、 常见的字符识别算法 （1） 模板匹配识别算法 （2） 结构特征统计匹配算法 （3） 支持向量机识别算法 三、 系统设计相关图像处理技术 3.1数字图像处理技术的作用： 3.2阈值分割 3.3倾斜矫正 3.4边缘检测 四、 试卷图像获取和预处理
PaddleDetection目标检测自定义训练
potato123232的博客
03-10 1681
参考项目地址项目文档地址详细的操作方式你可以看这个文档，不详细的可以看下面的。
【AI实践】个人免费数学老师系列之（三）：题目识别【OCR2.0】
趣谈AI栈
10-28 1286
​ 出发点： 承接上一篇【AI实践】个人免费数学老师系列之（二）：自动切题【目标检测】，本篇介绍识别流程的第二步-题目识别OCR。 顺带总结科普一下当下火热的大型视觉语言模型（LVLM）、多模态开山之作CLIP等概念。
基于OpenCV和YOLO的作业自动批改计分系统
shansjqun的博客
11-03 944
基于OpenCV和YOLO的作业自动批改计分系统
［python］RadioActive切题系统-外包比赛
qq_37822060的博客
06-03 1225
bilibili宣传视频： https://www.bilibili.com/video/av53893090?from=search&seid=11586199922705048354 当前系统及库版本 Windows：win10 anaconda: Anaconda navigator 1.9.2 opencv: Opencv3 3.1.0 AipOcr: 百度ocr库最新 re: r...
开源大模型项目，助你效率提高 10 倍
2401_85375298的博客
10-23 1609
Flowise 是一款开源 UI 可视化工具，用于构建定制的 LLM 编排流程和 AI 代理。" )}
大模型担任数学老师：AI在教育创新中的新角色
python1234567_的博客
05-10 996
在下面这个案例中，我们将让大模型扮演数学教师，为您探究数学的基础和应用，帮助您掌握数学知识和提高解决数学问题的能力。作为数学教师，大模型拥有广泛而深入的数学知识和教学经验，能够针对不同年龄和水平的学生提供专业、有效的数学教育。。你正在扮演一名数学教师，学生们对于概率有很大的困惑!概率是数学中的一个重要分支，涉及计算和预测事件发生的可能性。在这个任务中，我希望您能够以生动有趣的方式，解释概率的基本原理和计算方法，并提供一些实用的技巧和工具来帮助学生更好地理解和应用它。
关于目标检测、分割后的语义推理算法（1）
ruyingcai666666的博客
03-05 975
关于目标检测、分割后的语义推理算法（1）
基于Python的作业自动批改系统
热门推荐
毕业作品网站
01-17 2万+
同级新建fonts文件夹里拷贝一些字体文件，从这里找C:\Windows\Fonts，几十个就行。 get_character_pic.py 生成字体 cnn.py 训练数据 main.py 裁剪指定图片并识别，素材图片新建imgs文件夹,在imgs/question.png下，结果文件保存在imgs/result.png。 注意如果识别不成功，很可能是question.png的字体你没有训练（这幅图的字体是方正书宋简体，但是你只训练了楷体），这时候可以使用楷体自己编一个算式图。 一、亮出效果 最近在.
我把「AI数学老师」接入了「小爱」，拍照解题，微信直出
u010522887的专栏
10-16 1517
本文通过简单两步为`小爱`接入了 `AI数学题解` 的能力，你只需拍照上传图片，任性向他提问。希望这款`免费AI老师`，能帮你省下一笔家教费~
语义分割和目标检测是什么关系？
fengdu78的博客
05-27 5822
首先，让我们看一下语义分割和目标检测的目标分别是什么？语义分割的目标语义分割的任务是对输入的图像进行逐像素的分类，标记出像素级别的物体。如上图，图1中把猫、天空、树、草地进行了逐像素的分类；图2中把牛、天空、树、草地进行了逐像素的分类。目标检测的目标目标检测的任务是对输入的图像进行物体检测，标注物体在图像上的位置，以及该位置上物体属于哪个分类。如上图，模型把图中的人、狗、...
利用轮廓检测的试题框自动切分
chantor7的博客
05-11 1252
利用轮廓检测的试题框自动切分 一、轮廓检测 #coding:utf8 import cv2 import numpy as np 轮廓检测要点:   先将图片转化为灰度图像，cv2.canny 算子要求输入的是单通道图片   rect=cv2.minAreaRect© rect:（最小外接矩形的中心（x，y），（宽度，高度），旋转角度）1 1https://www.cnblogs.com/zhangzhihui/p/12524608.html def contour(img,limit_range)
自动切换下一题
christalfuller的博客
04-17 1847
题记：依然是量表系统工程，答题的过程中除了点击下一题来进入下一题外，还可以在选完选项后自动跳入下一题。代码如下： //自动切换下一题 function nextAjax(){ var num = $(".question_number").text(); //alert(num); //return; var formi
yolo模型精度提升策略
qq_47798402的博客
06-09 932
结合起来，才能最大程度地提升那6种相似BGA的区分能力，从而显著提高整体mAP。持续进行基于难例分析的主动学习是突破瓶颈的可持续方法。使用自适应优化器、学习率热身与余弦退火，进行充分长周期的训练（配合早停）。持续收集模型在相似BGA上的错误样本，优先标注并加入训练集进行迭代。设计模拟BGA实际成像挑战（反光、模糊、视角变化）的增强方案。尝试引入注意力机制，将分类损失替换为。训练数据（2倍以上是合理起点）。（Focal Loss）以及。显著增加6种相似BGA的。（特别是注意力机制）、
原始的 P-Tuning 和 P-Tuning v2 在实现细节上有哪些不同
ZJQ的博客
06-10 1049
P-Tuning v2（2022） - **改进点**： - 在模型的每一层都添加软提示（类似 Prefix Tuning 的思路），而不只是输入层。 - **引入轻量级 MLP 层**：在预训练模型的输出后添加一个小型的多层感知机，增强分类能力。 - **结构特点**： ``` 输入文本 + 软提示 → 预训练LM → MLP层 → 分类输出 ``` MLP 通常由 1-2 层线性层组成，参数量远小于全量微调。
二维张量dim=1
最新发布
GHL_17768588743的博客
06-11 602
在PyTorch中处理二维张量（矩阵）时，‌dim=1‌，也就是逐行处理每一行的所有列元素。
大模型试卷切题
05-16
### 大模型在试卷切题中的技术实现 #### 背景介绍 随着预训练大模型的发展，其强大的效果、泛化能力和标准化的研发流程使其逐渐成为人工智能技术的核心基础[^1]。这些特性也为教育领域的智能化提供了新思路，尤其是在自动化处理方面，如试卷生成、题目切割和解析等。 #### 技术原理 试卷切题是指通过算法将一张完整的试卷图像分割成多个独立的题目部分。这一过程通常涉及计算机视觉技术和自然语言处理技术的结合。以下是基于大模型的技术实现方式： 1. **目标检测与特征提取** 利用目标检测框架（例如特征金字塔网络FPN）可以有效地定位试卷上的各个题目区域[^3]。通过对不同层次的特征进行提取，能够提高对各种大小目标（即题目）的检测精度。 2. **文本识别与语义理解** 预训练的语言模型可以帮助理解和分类题目内容。例如，在完成目标检测后，可以通过OCR技术将图片转换为可编辑的文字，并借助大模型对文字内容进行深入分析，判断题型以及难度等级。 3. **随机抽题机制优化** 结合题库管理系统的设计理念，可以在已有的大量标注数据基础上构建更加灵活高效的随机抽题策略[^2]。具体来说，就是利用机器学习方法预测哪些类型的题目组合最有利于评估学生知识点掌握情况的同时降低重复率。 4. **端到端解决方案** 整体来看，从原始扫描件输入到最后输出结构化的电子版试题列表，整个流水线都可以由深度神经网络驱动完成。这不仅提高了效率还减少了人为干预带来的误差风险。 ```python import cv2 from transformers import pipeline, AutoTokenizer, AutoModelForTokenClassification def detect_questions(image_path): # 加载目标检测模型 detector = pipeline('object-detection', model='facebook/detr-resnet-50') image = cv2.imread(image_path) results = detector(cv2.cvtColor(image, cv2.COLOR_BGR2RGB)) questions = [] for result in results: box = result['box'] cropped_image = image[int(box[1]):int(box[3]), int(box[0]):int(box[2])] # OCR 文字识别 text_extractor = pipeline('ocr', model="microsoft/trocr-base-printed") question_text = text_extractor(cropped_image) tokenizer = AutoTokenizer.from_pretrained("bert-base-cased") model = AutoModelForTokenClassification.from_pretrained("dbmdz/bert-large-cased-finetuned-conll03-english") nlp_pipeline = pipeline("ner", model=model, tokenizer=tokenizer) ner_results = nlp_pipeline(question_text["text"]) processed_question = { 'image': cropped_image, 'text': question_text["text"], 'entities': ner_results } questions.append(processed_question) return questions ``` 此代码片段展示了如何使用现代深度学习工具链来执行基本的任务——从图像中找到并解释单独的问题项。 #### 总结 综上所述，采用先进的大模型架构和技术手段可以使传统纸质考试向数字化方向迈进一大步。它不仅能显著改善用户体验还能极大地方便后续的数据统计工作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值