- 博客(235)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 将图像数据按照patchsize和stride crop为patch并保存。利用np.memmap映射文件数据方便读取
【代码】将图像数据按照patchsize和stride crop为patch并保存。利用np.memmap映射文件数据方便读取。
2025-03-18 17:00:15
232
原创 video interp_Sparse Global Matching for Video Frame Interpolation with Large Motion论文解释
local feature branch 和 sparse global matching branchlocal feature branch 主要包括 local feature extractor, flow estimation, refine net三个小模块：local feature extractor 是CNN and Transformer hybrid structure, 用于特征提取。
2025-02-12 14:03:33
692
原创 sql layer 在depth prediction中的解释
由于自己的数据和 vimeo90k的数据在场景，噪声，画质等是由差异的，所以预期会有一点作用，但是也会有不适应的地方。就是多引入一个block，block的输入会引入gt信息，然后得到的teacher flow结果对原先的flow进行监督引导。后续finetune后应该会更好的。deconv红色的注释有误，应该是out = 2 * in (图像的尺寸，不是channel)官方源码VimeoDataset 处理vimeo 数据，修改源码的路径为自己的数据路径即可。unet输出的是 fusion的图像的残差。
2025-02-10 09:16:00
310
原创 optuna和 lightgbm
optuna支持很多种搜索方式：（1）trial.suggest_categorical(‘optimizer’, [‘MomentumSGD’, ‘Adam’])：表示从SGD和adam里选一个使用；（2）trial.suggest_int(‘num_layers’, 1, 3)：从1～3范围内的int里选；（3）trial.suggest_uniform(‘dropout_rate’, 0.0, 1.0)：从0～1内的uniform分布里选；
2024-12-25 10:32:09
1133
原创 一维数据预测FilterNet: Harnessing Frequency Filters for Time Series Forecasting
一共以下几个步骤：norm: 求每个特征的均值和方差（seq_len个数的均值和方差），以及normfilter: x是输入，w 是可学习的滤波系数， 将两者转换到频域，相乘，再转回来。
2024-12-06 16:11:53
1288
2
原创 gamma: CE Brightness-Distorted Images by Improved Adaptive Gamma Correction(2017)(附python)
首先计算累积直方图c，gamma = 1-c然后 apply gamma:通过以上可知 gamma和累积直方图有关系。因此对直方图进行不同程度的平滑可以得到不同的累积直方图, 如下图b: alpha=0.5,1,1.5时的累积直方图的变化梳理一下主要步骤：对YUV的Y 或者 hsv的v 通道处理1）首先计算直方图p2) 然后根据公式2计算 pw, normalized后的 pw’=pw/pw.sum(), 这里有参数alpha可调3) 然后计算累积直方图c, 和 gamma=1-c。
2024-11-22 14:39:56
756
1
原创 gamma cor:An adaptive gamma correction for image enhancement(2016)
低对比度图像
2024-11-22 13:55:37
390
原创 cuda, cudnn, ternsorrt, cvcuda安装
https://cvcuda.github.io/CV-CUDA/installation.html 是安装和使用教程安装好之后要设置环境变量，参考https://blog.youkuaiyun.com/Deaohst/article/details/138472286https://github.com/CVCUDA/CV-CUDA/releases 是安装文件。
2024-11-08 14:19:37
377
原创 flow based generation model
张振虎的博客：https://www.zhangzhenhu.com/glm/source/%E6%9C%80%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%AE%A1/content.html。最后介绍了2个模块，这两个模块 求G的逆和 G的juacobi矩阵的行列式的值都比较容易计算。slogdet 计算行列式后，取绝对值再取log, 返回行列式的符号和 最终结果。因此关键就是求解 G的逆 和 G的jacobi矩阵的det。设计模块的时候也要考虑的逆 和行列式的计算。
2024-10-08 14:18:26
383
原创 hdr tone mapping介绍2
https://blog.youkuaiyun.com/qq26983255/article/details/108541074
2024-09-26 17:23:59
333
原创 膨胀腐蚀操作opencv dilate膨胀白膨胀，erode腐蚀是黑吃白。主要针对二值图
【代码】膨胀腐蚀操作opencv dilate膨胀白膨胀，erode腐蚀是黑吃白。主要针对二值图。
2024-09-10 11:35:34
345
原创 predictive-filter-flow
网络是输入 noise image (n,c,h,w), 输出 filter (n,17x17,h,w) 其中17是filter的领域大小，就是为每个pixel生成一个17x17的滤波器。然后对inputa, inputb都 缩放2，4，，8，16，32倍五个尺度，缩放可以用opencv resize,或者其他的都可以的，作者源码用 transforms.Resize。求梯度的kernel,包括水平和竖直: [1,-1], [1,0,-1], [1,0,0,-1], [1,0,0,0,-1]
2024-08-30 09:12:44
952
原创 pytorch, torch_tesnsorrt安装各版本匹配
python -m pip install torch2.3.0 torchvision0.18.0 torch-tensorrt2.3.0 tensorrt10.0.1 --extra-index-url https://download.pytorch.org/whl/cu118
2024-08-22 10:13:22
355
原创 sdapRandom Sub-Samples Generation for Self-Supervised Real Image Denoising
ap-bsn 转换为公式3，然后pd是固定的。
2024-08-10 14:11:34
510
原创 MM-BSN
作者分析了一个图像，发现噪声相关性 在 距离大于5（面积大于25）仍然比较大的像素比例占了三分之一。作者相比 ap-bsn主要修改了网络，相比与ap-bsn的单个center mask conv。本文提出两种mask, 希望一种打破相关性，另一种保留纹理细节。两种结合，更好的降噪。之前论文说到 邻域为5以内的噪声相关性比较大，距离大于5的时候相关性较小。
2024-08-10 14:08:36
320
原创 APbsn
在另一个相对本文改进的方法Random Sub-Samples Generation for Self-Supervised Real Image Denoising我也进行了相关实验，这次直接使用官方代码只改了数据集，可以得到类似的结果，就是blind spot net得到的图像都很平滑。pda,pdb分别为2，2的时候， 得到的结果A,B会稍好一些，多一些细节，但是仍然缺失很多纹理，不是很满意。pda,pdb分别为5，2的时候， 得到的结果A,B都很平滑。就是 训练的时候 stride=5 去相关。
2024-08-09 10:14:38
1320
原创 Asymmetric Mask Scheme for Self-Supervised Real Image Denoising:down susampling mask
训练的时候 only_first=true, 因此只有一个mask其作用，其实就是随机mask 50%像素建立损失，进行训练。默认2个mask互补，降噪后的图像被mask的区域 互补 组成完整的denoised image， 参看6.3。但是推理的时候用到多个mask, 所有被mask的像素是组成真个图像尺寸。推理的时候mask满足， 多个分支 所有被mask的像素 构成整幅图像。也就是n个mask的情况下，mask=0的区域占n分之一.总的来说，就是用未被mask的像素预测mask的像素。
2024-08-07 19:40:00
917
1
原创 单张图像降噪Masked and Shuffled Blind Spot Denoising for Real-World Images
3）但是总的效果是，噪声空间相关度越小，越容易降噪，降噪效果最好，细碎的噪声更容易去除，这个很有道理，也符合常识，空间相关度大的噪声比较难以区分是纹理还是噪声。2）对于噪声空间相关度大的图像， mask ratio越大越好，这个也好理解，mask ratio越大，网络学习更多内容相关的推理能力。beta = 1的时候，空间噪声有比较高的相关度，某个像素的噪声是 5，则相邻像素的噪声和 5比较接近，就是相关。每个像素被mask的概率，其实也是整张图像被mask的比例， 概率 tao。
2024-08-06 15:33:46
1232
原创 deepflow相关spynet, pwc, raft, uflow, upflow, Back to Basics,unflow, homoflow8base
实际训练自己的图像，flow一直全为0，loss 停止，这在github issue中也有人遇到类似的问题，为什么学习不到内容呢？level i:n,5x5,h,w -> 24,1 相减—> boxfilter n,24,h,w—> top position x,y–>flow。训练的时候，model input是 两张图像： batch_size, 6, h, w。这样我们通过上面的公式可以得到 前向遮挡区域 和 后向遮挡区域的mask。输出第二张图像的flow, 和 第二张图像的warp。
2024-08-02 16:27:23
1027
原创 多光谱的空间特征和光谱特征Statistics of Real-World Hyperspectral Images
图8很有意思表示的是第二个spatial basis 与 排名1，2的两种spectral basis组合的系数分布图，接近高斯分布。每个spatial basis 和 不同的spectral basis组合后的趋势是大概相同的。x 的j,k表示的是 spatial basis和spectral basis的序号。C1 的重要性不言而喻，与其他spatial basis组合都可以由高的方差。不同的spatial特征和光谱特征组合后的 方差是怎样的？求得的spatial的特征应该和一般图像求的一样把。
2024-07-19 19:37:36
911
原创 # ffmpeg 工具使用
windows安装教程：https://blog.youkuaiyun.com/csdn_yudong/article/details/129182648。图片的文件名为"in000000.jpg"，从0开始依次递增。img%04d.jpg: 生成的图片命名格式。-f : 指定格式化的格式为image2。第二种方法生成的图片大小为260kb左右。-b 200k 指定码率为200k。fps=1/5: 每1s取5帧。%5d：以为5位数按正序编号。fps=5: 每5s取一帧。-i : 指定输入文件。-r : 帧数 10。
2024-07-17 11:03:42
1068
原创 关于pytorch的加载数据，cpu init, cpu getitem, gpu init
如果GPU显存比较大的时候，或者有多个GPU的时候，可以在init函数中将图像读取到若干个GPU中。但是读取到GPU之后，训练的时候 好像不能使用dataloader， 容易报错。这种方法可以处理大数据集，比如所有图像占用内存大于电脑内存的时候，用这种方法。但是由于读取图像放在了get_item中，训练的时候加载数据会比较慢。就是cpu内存不够不能使用方法一，且我们不像速度太慢不能使用方法二。这种方法比较常用，读取图像的效率也高，但是cpu内存要够。这个时候自己设计一个 批处理函数，和shuffle。
2024-07-04 14:28:06
511
原创 gplearn 和 deap
很有条理的教程：https://www.jianshu.com/nb/37113069。基于DEAP库的Python进化算法从入门到入土—(二)简单遗传算法实现。感觉使用起来很麻烦呀。
2024-06-24 20:56:35
366
原创 内窥镜窄带光
染色很有意思， 通过控制五种LED来达到不同的色彩模式。五种LED是 1种白光+4种窄带光。还有智能分光技术，是利用多光谱的方法分解后再重建图像，和之前做的多光谱重建类似。VIST成像 只采用蓝紫光和绿光，不采用红光和蓝光。没有找到官网，和相关信息。有一些窄带光成像的专利。SFI成像光源 相比白光，蓝紫光更强，红绿光较弱。官网页面未发现 NBI相关信息，只有荧光方案。有SFI 成像技术和 VIST成像技术。搜集到的与NBI，相关的信息如下。第二直接搜索找不到相关信息。没有相关信息，相关技术。
2024-06-17 09:39:57
363
原创 图像融合：可见光和红外图像Visible and NIR image fusion using weight-map-guided Laplacian–Gaussian pyramid f
首先weight map的计算和 mertens有所不同。mertens方法中，主要使用了亮度，对比度，饱和度三个概念。local contrast的实现效率比较低，先stack在一起多层。借鉴了 mertens的方法，进行rgb和nir图像的融合。然后 V 与 NIR图像计算weight map。然后 高斯-拉普拉斯金字塔融合，得到新的V。rgb转换到 HSV，对比度增强，就是锐化。
2024-06-11 16:21:29
282
原创 多曝光融合算法（八）：MEFLUT: Unsupervised 1D Lookup Tables for Multi-exposure Image Fusion
是不是满足这个条件可以看下通过设置 图像输入，相同灰度的像素 输出的 weightmap是不是也是相同的。查找表没有利用语义信息，可能不够平滑，即使假如guide filter,guide filter的参数也不能自适应调整。输入一个图像 全为0， 得到K个weight map，求这k个weight map的mean, 作为。还有一个最终要的问题就是。这样的假设相当于认为， 网络学到的映射关系是 只与 单个像素值有关系。效果不如本文提出的网络，说明本文提出的网络转换为1Dlut 更加有效。
2024-06-06 14:23:41
1085
1
原创 多曝光融合算法（三）cv2.createAlignMTB()多曝光图像融合的像素匹配问题
异或运算计算差异的时候还有一个问题是 在均值附近的一些区域，两张不同曝光的图像的二值图可能被引入一些噪声，此时可以计算图像的 exclusion mask,标记，在均值[-4,4]的区域。计算均值和中值的时候，对于严重过曝或者过暗的图像，可能因为大量的255，0像素导致 计算的均值 接近255和0。那么我们通过遍历其中一个图像的位移dx,dy,计算 error_sum， 寻找最恰到的dx,dy。还有特殊的图像就是多帧曝光，小位移，重合区域多，但是亮度差异有点大。而且计算的是全局的位移。介绍了一些配准方法。
2024-06-06 13:57:04
898
原创 光谱重建In Defense of Shallow Learned Spectral Reconstruction from RGB Images， svd和k-svd
首先有一个数据库，数据库包含低分辨率图像的像素或特征，和对应高分辨率图像的像素或者提取的特征输入低分辨率的patch，提取特征，找到数据库中的K近邻，并根据距离计算weight将weight应用到对应的高分辨率的patch, 加权得到 高分辨率的patch主要就是K近邻插值一般情况下使用K-SVD方法建立 低分辨率字典和对应的高分辨率字典输入低分辨率图像，然后OMP方法计算 低分辨率字典的weightweight应用到低分辨率字典对应的高分辨率字典，得到高分辨率图像。
2024-04-25 11:17:09
914
原创 yolo-yolov5介绍
预处理数据集得到 yolov1需要的label训练后处理数据得到方便显示的方式。后处理：98个bbox ， 20个种类， 然后NMS处理。
2024-04-08 10:46:05
940
原创 pytorch的 F.pixel_unshuffle函数理解，利用卷积来实现pixel_unshuffle, yolov5中focus操作和pixel_unshuffle是否一样？
b3是yolov5中用到的focus操作，上述代码我用卷积实现了pixel_unshuffle操作， focus操作同理当然也可以利用卷积实现。pixel_unshuffle示意图：和focus不同的是最后的输出的通道排列顺序有差异。结果显示：b = b1 =b2 但是和b3不太一样.
2024-04-03 13:39:18
1052
原创 大疆的raw图噪声合成：Towards General Low-Light Raw Noise Synthesis and Modeling
这是关于raw noise model的最新一篇论文，结合了物理建模和深度学习，创新点吧也是有一些的，当然作者也提到可能对于特别暗的场景可能效果好一些，如果sidd数据集其实 P-G噪声模型也许就够好了，实际使用的适合我主要是基于PG，以及sampling建模的方法，标定噪声和制作数据集。这一系列论文是不断对raw noise model的建模方法改进，来生成噪声数据，效果是可以的。当然如果直接使用 n2n, nb2nb等无监督方法降噪也是可以的。建模越准，训练的model效果就会越好吗？
2024-03-08 14:36:20
1605
3
原创 Rethinking Data Augmentation for Image Super-resolution
根据方法应用的位置将现有的增强技术分为两组：像素域就是针对图像 和 特征域就是中间的特征层。作者提出cutblur方法，正则化模型使模型可以学到 在图像的什么区域区增强以及如何增强。作者基于提出cutblur数据增强方法以及其他一些辅助方法 构建一个混合的数据增强策略，效果很好。作者主要利用EDSR model 在 DIV2K和 RealSR 两个数据集上从头训练，进行分析。
2024-03-08 13:15:34
1496
原创 GAN 网络的损失函数介绍代码
pixel_opt:相比于一般的l1 loss多了 loss weight, reduction, weight三个功能。首先loss_util.py文件定义weight_lossArgs:Returns:"""else:Args:Returns:"""else::Example:tensor(3.)"""loss = loss_func(pred, target, **kwargs) # 这里 reduction='none'接下来定义带weight的L1 loss。
2024-03-07 17:55:11
2590
原创 gan, pixel2pixel, cyclegan, srgan图像超分辨率
上图的左上部分如下就是1个 gan， gan生成目标B， 但是没有label条件约束，因此pixel2pixel中的L1损失就没法使用了，那么如何保持生成的图像目标图像的一致性呢？那么生成器呢，除了原来的损失，再加上一个L1损失。就是通过添加限制条件，来控制GAN生成数据的特征（类别），比如之前我们的随机噪声可以生成数字0-9但是我们并不能控制生成的是0还是1，还是2.噪声z 输入生成器，希望判别器得到 1， 即希望生成器生成的图 输入判别器时 是 1，即希望生成器生成的图，和real更接近。
2024-03-06 16:41:29
1367
原创 图像超分辨率：Closed-loop Matters: Dual Regression Networks for Single Image Super-Resolution
首先，学习从LR到HR图像的映射函数通常是一个不适定问题，因为存在无限的HR图像可以降采样到相同的LR图像。因此，可能的函数的空间可能非常大，这使得很难找到一个好的解决方案。深度神经网络通过学习从低分辨率（LR）图像到高分辨率（HR）图像的非线性映射函数，在图像超分辨率（SR）方面表现出了良好的性能。其次，成对的LR-HR数据在现实应用程序中可能不可用，而且潜在的退化方法通常是未知的。为了解决上述问题，我们提出了一种对偶回归方案，通过对LR数据引入一个额外的约束，以减少可能的函数的空间。
2024-03-06 16:09:25
244
傅里叶变换及其应用（斯坦福大学stan）.pdfbook.rar
2019-09-21
mfc:单文档中对话框类调用视图类和框架类成员变量的实例
2017-02-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人