我的AI之路(53)--超高清图像识别

       首先这里说的超高清图像的识别问题不是超分辨率(super-resolution)问题，超分辨率这个领域问题是指使用插值等手段把相对模糊的小图放大成高清大图且保持细节基本真实自然的问题，超高清图像的识别问题是指对本身是高清大图的图片做目标分类、检测、分割(下面我说到识别默认只指分类或检测，不含分割)等处理这类问题。

       顺带说一句，以便更好界定识别需求问题的范围：一般将分辨率为720p（1280x720像素）、1080p（1920×1080像素）叫高清（High Definition），而4K分辨率(3840×2160 像素)或以上的分辨率的叫超高清（Ultra High Definition）。

      对于大图，如果项目部署条件允许，当然尽量选择支持比较大的输入的模型，选择比较大的网络模型，比如efficientdet d7(或以上)，最大支持1536x1536的输入(当然在嵌入式环境下，由于内存和GPU内存都非常有限，这么大的网络是跑不起来的，需要在服务器环境里跑)，对于4K以下的图，只要不是目标太小，输入后缩放到1536x1536后仍然能较好地识别不会漏检也较少误检。对于再大的图片，一味的缩小后识别，效果肯定就不好了，分辨率越大就表现越差。 

      像卫星图像、医疗诊断图像、无人机高空拍的图像和一些专业摄像机拍的全景之类的图片一般可能都是至少4K以上的分辨率，对这些高清大图做目标检测，如果目标里有部分是小目标的话，直接输入模型，哪怕是选用efficientdet d7/d8这样的大网络模型，识别效果也会不好，图片分辨率越大漏检误检越多。所以，对这种超高清图片的识别，一般都采用切图识别，也就是说先把大图按一定的大小切成多张小图(切图时子图与子图之间保持一定的overlap)，把各张小图分别让模型识别，然后把这些识别结果都做对应还原到原始大图上并使用NMS等手段对切图衔接处附近因切图带来的可能的多余的重叠的识别结果进行合并处理，基本上就是这样的思路来处理高清大图的识别。但是我们知道无论是NMS还是改良过的soft NMS，这些都是