将常规图像重新表征的几个方法

最新推荐文章于 2024-08-20 19:08:01 发布

原创

最新推荐文章于 2024-08-20 19:08:01 发布 · 552 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#图像处理 #计算机视觉 #数据建模

本文探讨了图像的重新表征，从传统的RGB和YUV等格式到神经网络提供的新视角。通过将图像建模为采样数量-数值-位置标签格式，作者提出了一种使用Invertible Neural Networks的方法，避免了希尔伯特曲线的使用。文章讨论了颜色点云的概念，并对比了常规图像和颜色点云的采样准确性。作者还提出了在演化型训练中智能体自我产生梯度的可能性，以及对新型卷积结构的需求，以适应非常规图像的处理。

将图像重新表征-神经网络给予的新视角

什么是图像？什么是颜色？

0

我们从纯常规图像，RGB，YUV，光谱，等等 C H W（一个tensor） 格式
从面向 通道-2D数组格式
进阶到面向 2D位置-信号格式
xy->rgb（x,y∈Z+，rgb∈[0,255]）
重新建模了图像，带上实际信息
Pos + Signal（H*W个tensor 并且需pair）

再到此文（主要讲的）的颜色空间
面向 采样数量-数值-位置标签格式 (rgb->xy)
Num Signal Pos（一个tensor）

从分量视角：X+color_1->Y+color_2，刚好Invertible-Neural-Networks可以做到
我们为什么不用一个坐标分量去预测color分量？，实际数据任然是(X,Y)+color做监督损失
这样建模好处在连hilbert-curve都不用
而且图像似乎本身就有个特点，两个分量XY,UV,θφ