超级会员免费看
本文探讨了计算机视觉中图像和像素的关系，强调了解图像特征对处理图像任务的重要性。大模型能够基于像素关系生成图像，而像素间的联系是图像识别的关键。介绍了数据增强在提高模型鲁棒性中的作用，以及卷积算法如何模拟人眼观察图像的过程。
像素我们不陌生，图像我们更不陌生。
学习计算机视觉，我觉得第一步就是要了解我们要处理的对象，就像上一篇说到的，计算机视觉任务中，图像（像素）是原材料，算法是菜谱。
了解了图像的特征，才可以更好的完成更多图像处理任务，比如对一张图片进行分类，或者对一张图片画框做检测。
大模型的图像生成
多模态大模型，输入一句话便可以让模型画出一张图片出来，内部计算机对于画图所理解的，也是基于图像像素间的关系特征来实现的。
比如今天我在某平台上输入了下面一句话，希望可以帮我画出“战士军前半死生，美人帐下犹歌舞”的画面。
大模型通过语言描述直接生成绘画的技术：简单说就是先把自然语言转换为一种AI的内部特征空间表示，然后由模型内部特征空间表示转换为图像。
也就是由 A -> 内部特征 - > B 的过程，而内部特征是统一的，如此一来，大模型不仅可以实现语言描述转换为图片，也可以实现图片描述转换为文字（看图写作），也可以实现图片转换为音频。
这也就是所谓的多模态，因为AI的中间特征是一致的，这些特征表示，很大程度上是基于像素关系来实现的。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
