深度学习缺陷检测系统工程 全生命周期管理实践-概述

全生命周期管理实践)

概述

前言

《深度学习缺陷检测系统工程全生命周期管理实践》这本书编写的初衷是因为市面上现有的技术丛书里面，绝大多数的内容是基于传统的图像处理方法进行缺陷检测的，部分丛书中即便包含深度学习的内容，也仅仅是将使用深度学习进行缺陷检测作为丛书的最后一小部分的扩展内容进行简单介绍，但在现如今的工业场景下，使用深度学习进行工业缺陷检测的项目比例在逐年扩大，原有图像处理的方式进行能够搞定的场景正在逐步被深度学习方法所替代，而使用深度学习进行缺陷检测的公司往往没有形成比较系统的工程化流程，训练出来的模型没有很好的评估方法，全凭算法工程师的感觉来判断模型的好坏，对于数据的标注标准，数据的版本管理管理，模型的版本管理等内容总结极少，无法达成企业所期望的“数据及资产”的目标。另外对于一些难度较大的应用场景，比如软质材料的缺陷检测，缺陷种类繁多但缺陷区分度小的应用场景，传统的图像处理如：opencv、halcon等图像处理工具无法进行有效的特征提取和区分，而深度学习由于其强大的特征学习能力，针对某些复杂缺陷检测场景有着天然的优势。因此，为弥补这些缺陷，结合本人多年在缺陷检测行业的经验，系统性整理缺陷检测领域涉及到的工程实践。其内容包含了三大工程化问题，如：数据工程（数据标注标准、数据版本管理、数据特征可视化）、模型工程（模型的版本管理、模型自动评估、模型在线自迭代、模型的特征可视化）、代码工程（数据处理脚本管理、自动化模型训练、技术知识库管理）；也包含了相应的业务问题，如客户需求对齐，需求对接难点；光学、机械、电气、算法、软件等内部人员协调；包含了视觉团队内部提效，如自动标注、数据探索性分析（EDA）；另外也包含了前沿技术在缺陷检测行业应用，如大模型图像生成，多模态，开集目标检测，无监督学习异常检测等内容。
这本书虽然是以缺陷检测行业作为切入点，但并不仅仅是为缺陷检测相关从业者而写作。在AI的工程化落地场景中，各行各业目前都存在工程化、流程化能力差的情况，这里面有主观原因，当然，也存在一些客观原因，比如AI算法工程师薪资普遍较高，而企业为了开展相应的业务往往只会雇佣1-3名算法工程师进行相应的业务开发，