大疆的raw图噪声合成:Towards General Low-Light Raw Noise Synthesis and Modeling

该博客介绍了一篇关于raw噪声模型的论文,结合物理建模和深度学习。信号相关噪声采用物理或采样方法建模,信号无关噪声利用生成对抗网络(GAN)建模。生成器通过特定方式使噪声图接近真实噪声图,判别器基于FFT构建。论文有创新点,但建模准确性与模型效果关系待探讨。

Towards General Low-Light Raw Noise Synthesis and Modeling

1 dd

作者说极暗场景下 物理方法仿真不好。
作者提出的方法,对于信号相关的噪声 使用物理方法建模, 泊松噪声。
在低光条件下,与信号无关的噪声是主要成分。由于信号无关组件中的噪声源非常复杂,并且随着不同的曝光时间、ISO水平和相机传感器的变化而显著变化。没有采用基于物理的方法来建模与信号无关的噪声,而是利用生成对抗网络(GAN)强大的学习能力来建模它

总的来说,无论实用性还是效果都没什么价值,不过是多了一篇拼凑的论文。大疆的影像水平没有太多原创性的好东西。
在这里插入图片描述

2 信号相关噪声建模

简单说下其思路吧。
信号相关泊松噪声采用物理建模的方法 或者 采样的方法( Rethinking noise synthesis and modeling in raw那篇论文)

3 信号无关噪声:生成器和一致性损失(L1和 vgg 内容损失)

信号无关噪声采用生成的方法,一个GAN:
这个gan有自己的特点:
首先一个generator 生成 N_indep, 与 N_dep相加后得到噪声图, 如何让得到的噪声图与 真实噪声图比较接近呢?一般情况下 L1或者 vgg的内容损失, 但是噪声图的值是随机的,与真实噪声图不会完全一致,这里加了一个 pretrained denoise net作为特征提取器,提取后得到2个降噪图像,降噪后的图像会比较稳定,计算这两个降噪图像的L1 和 vgg的内容损失。

### 如何复现 InstructBLIP 通用视觉-语言模型及其指令微调方法 #### 准备工作环境 为了成功复现 InstructBLIP 模型,首先需要准备适当的工作环境。这通常涉及安装必要的软件包和依赖项。建议使用 Python 和 PyTorch 来构建此项目。 ```bash conda create -n instructblip python=3.8 conda activate instructblip pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113 ``` #### 获取数据集 InstructBLIP 的训练依赖于大规模的数据集来学习丰富的特征表示。这些数据集应包含配对的像和文本描述。常用的数据集包括 COCO Captions, Visual Genome 等[^2]。 #### 下载预训练模型权重 由于从头开始训练这样的大型模型非常耗时且计算资源密集,因此推荐下载官方发布的预训练模型权重作为起点。可以从 GitHub 或其他公开平台获取最新的预训练版本。 #### 实施指令微调流程 按照论文中的指导,在已有的基础之上实施特定任务导向的指令微调过程。具体来说: - **定义目标任务**:明确希望模型执行的任务类型,比如生成片说明、问答等。 - **调整输入格式**:确保输入遵循预期结构,即每条记录由一对或多张像以及相应的自然语言命令组成。 - **修改损失函数**:根据所选任务定制化设计适合的优化目标。 ```python from transformers import BlipForConditionalGeneration, BlipProcessor processor = BlipProcessor.from_pretrained("Salesforce/blip-image-captioning-base") model = BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-base") def fine_tune_model(training_data): optimizer = AdamW(model.parameters(), lr=5e-5) for epoch in range(num_epochs): model.train() for batch in training_data: inputs = processor(images=batch['image'], text=batch['instruction'], return_tensors="pt", padding=True) outputs = model(**inputs) loss = outputs.loss optimizer.zero_grad() loss.backward() optimizer.step() fine_tune_model(prepared_dataset) ``` 通过上述步骤可以有效地实现 InstructBLIP 模型的本地部署与进一步开发应用。
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值