什么是low-level、high-level任务

最新推荐文章于 2023-12-12 00:08:33 发布
原创 最新推荐文章于 2023-12-12 00:08:33 发布
· 7.9k 阅读 · 34 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

本文探讨了低级图像处理任务（如超分辨率和去噪）面临的泛化性、指标与主观感受的差距以及运算量过大等问题。同时，也指出在现实应用中，高质量图像处理在分类、检测等高级任务上的性能下降。为解决这些问题，提出了直接在降质图像上微调、独立网络增强与高层模型结合以及联合训练等融合策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Low-level任务：常见的包括 Super-Resolution，denoise， deblur， dehze， low-light enhancement， deartifacts等。简单来说，是把特定降质下的图片还原成好看的图像，现在基本上用end-to-end的模型来学习这类 ill-posed问题的求解过程，客观指标主要是PSNR，SSIM，大家指标都刷的很高。目前面临以下几点问题：

  • 泛化性差，换个数据集，同种任务变现就很差
  • 客观指标与主观感受存在，GAP，指标刷很高，人眼观感不佳，用GAN可缓解
  • 落地的问题，SOTA模型运算量很(上百G Flops)，但实际不可能这么用
  • 主要是为人眼服务，缺乏与High-level之间的联系

High-level任务：分类，检测，分割等。一般公开训练数据都是高品质的图像，当送入降质图像时，性能会有下降，即使网络已经经过大量的数据增强（形状，亮度，色度等变换）

真实应用场景是不可能像训练集那样完美的，采集图像的过程中会面临各种降质问题，需要两者来结合。简单来说，结合的方式分为以下几种

  • 直接在降质图像上fine-tuning
  • 先经过low-level的增强网络，再送入High-level的模型，两者分开训练
  • 将增强网络和高层模型（如分类）联合训练
计算机视觉中的low-level与 high-level任务
qq_43701910的博客
06-09 3833
在计算机视觉领域中，low-level任务和high-level任务是两个重要的概念，他们分别涉及图像处理和分析的不同的层次。
【CV】计算机视觉中什么是Low level任务和High level任务？
qq_43426078的博客
02-25 1万+
Low-level任务：常见的包括 Super-Resolution，denoise， deblur， dehze， low-light enhancement， deartifacts等。简单来说，是把特定降质下的图片还原成好看的图像，现在基本上用end-to-end的模型来学习这类 ill-posed问题的求解过程，客观指标主要是PSNR，SSIM，大家指标都刷的很高。目前面临以下几点问题： 泛化性差，换个数据集，同种任务变现就很差 客观指标与主观感受存在，GAP，指标刷很高，人眼观感不佳，用GAN可缓
计算机领域中的low-level与high-level
丘处机的专栏
03-21 5744
在计算机行业里面，low-level与high-level代表的含义并不是低级和高级。例如低级语言、高级语言，并不是语言“低级”或”高级“，而是代表层次。 low-level： 接近原始，最初的那层东西，描述起来比较繁琐，但是非常细节的东西。就好比我们敲一行一行的代码去实现一个窗口操作； high-level： 是建立在low-level的基础上的，这一点非常重要，并不是另辟蹊径。与需求比较贴近，操作简单，封装了low-level的一些细节操作。只需要操作几步就可以完成。好比我们用图形开发工具，托托拽拽
Transformer再下一城！low-level多个任务榜首被占领，北大华为等联合提出预训练模型IPT
m0_37833297的博客
01-24 248
https://blog.youkuaiyun.com/Extremevision/article/details/110522513 随机硬件水平的提升，在大数据集上预训练的深度学习模型(比如BERT，GPT-3)表现出了优于传统方法的有效性。transformer的巨大进展主要源自其强大的特征表达能力与各式各样的架构。 在这篇论文中，作者对low-level计算机视觉任务（比如降噪、超分、去雨）进行了研究并提出了一种新的预训练模型：IPT(image processing transformer)。为最大挖掘tra
论文笔记 Reinforced Feature Points: Optimizing Feature Detection and Description for a High-Level Task
weixin_43199832的博客
12-01 3895
介绍 \quad文章的主要思路是使用SuperPint的预训练模型，使用旋转矩阵RRR和平移矩阵ttt对SuperPoint进行reinforcement learning， 使其能够估计相机的相对位姿变化。 作者指出对神经网络的训练，SuperPoint在匹配任务上取得了比SIFT更好的效果，但其在根据匹配求解本质矩阵上，效果却不如SIFT，同为深度学习网络的LIFT也存在相同的问题，LIFT特征在三维重建任务中的效果不如SIFT，基于深度学习方法的特征点在底层任务（如匹配）中取得很好效果的同时，在高层任
《Deep multi-task learning with low level tasks supervised at lower layers》论文阅读笔记
Amy_mm的博客
06-12 959
《Deep multi-task learning with low level tasks supervised at lower layers》 论文来源：2016 ACL 论文方向：multi-task learning 摘要: 本文创新点： 之前的多任务学习中 task supervision都是在网络的同一层（最外层）。 本文提出的一种基于双向RNN的多任务学习架构，不同的任务可以在网络...
Write Great Code- thinking low-level & writing High-Level
09-11
Write Great Code- thinking low-level & writing High-Level, the best practice in programming.
Image-GaborFilter2.rar_fast retrieval_low-level feature_novel de
07-15
which are subjected to various grouping algorithms It present a novel method to determine salient regions in images using low-level features of luminance and color. The method is fast, easy to ...
ug871-vivado-high-level-synthesis-tutorial.pdf
05-13
The tutorial shows how you create an initial RTL implementation and then you transform it into both a low-area and high-throughput implementation by using optimization directives without changing the...
Untitled3.rar_As One_grouping_low-level feature_novel detection_
07-15
which are subjected to various grouping algorithms It present a novel method to determine salient regions in images using low-level features of luminance and color. The method is fast, easy to ...
Transformer再度出手！low-level多个任务榜首被占领，
深度学习技术前沿
12-04 652
点击上方，选择星标或置顶，不定期资源大放送！阅读大概需要15分钟Follow小博主，每天更新前沿干货作为自然语言处理领域的主流模型，Transformer 近期频频出现在计算机视觉领域的...
Using reward machines for high-level task specification and decomposition论文阅读
蜜汁菠萝头
11-30 625
Abstract 论文完整题目是《Using reward machines for high-level task specification and decomposition in reinforcement learning》,太长了写不下。这篇论文是在《Reward Machines for Cooperative Multi-Agent Reinforcement Learning》文章之前所写的，这篇论文先提出的RM，然后《Using reward machines for high-leve
创新工场王嘉平开讲：low-level的计算机视觉
weixin_34319999的博客
01-09 682
本文来自AI新媒体量子位（QbitAI） 近日，在DeeCamp创新工场深度学习训练营期间，创新工场AI工程院副院长王嘉平开讲《low-level的计算机视觉》一课。 量子位把课程全部内容整理如下： 今天要和大家一起聊一聊的是low-level的computer vision。 当下这个时代，high-level vision已经有了长足的进...
计算机视觉中low-level feature和high level feature的理解
热门推荐
Alawaka2018的博客
06-04 1万+
Low-level feature： 通常是一些pattern, 比如边缘（edge),角(corner),颜色(color),像素(pixeles)等特征； High level feature：具有深层语义信息的特征。
记一次kafka的high level和low level
hell_world!
10-10 4042
php  rdkafka 之前的业务用的rdkafka的low level进行消息消费，没什么问题 今天一个新业务，申请的新的broker和topic，结果low level就消费不到数据了 后来改成了high level（https://arnaud-lb.github.io/php-rdkafka/phpdoc/rdkafka.examples-high-level-consumer.h...
计算机视觉算法入门Task06
weixin_41948788的博客
05-01 222
Sobel算子 Canny边缘检测 完成一个canny边缘检测需要以下四步： 1：高斯滤波 2.计算梯度强度和方向 3：非极大值抑制 代码演示 # -*- coding: utf-8 -*- """ cv2.Sobel(src, #参数是需要处理的图像； ddepth, #图像的深度，-1表示采用的是与原图像相同的深度。目标图像的深度必须大于等于原图像的深度 dx,...
Low-Level视觉任务的通用train训练代码
weixin_44526168的博客
09-11 698
节选自Uformer
EDT：针对Low-Level视觉任务的一种高效Transformer基准框架
Miracle Fan的博客
12-12 1434
提出了一个用于低级视觉的高效且通用的Transformer框架：改进window attention，分别从高、宽进行切块计算注意力。​ 预训练在high-level计算机视觉中产生了许多最先进的技术，但很少有人尝试研究预训练如何在low-level任务中。​ 分组卷积是指将输入和输出通道分为若干组，在每组内部进行卷积操作，这可以加速计算并在一定程度上提高模型的表征能力。是第一个对低级视觉的图像预训练进行深入研究的人，揭示了预训练如何影响模型的内部表示以及如何进行有效的预训练的见解。
计算机视觉
weixin_48727047的博客
12-21 1124
计算机视觉的上下游任务以及low-level，high-level区分
事件图像low-level
最新发布
02-26
### Event-Based Image Low-Level Processing Techniques Event-based cameras represent a significant shift from traditional frame-based sensors by capturing asynchronous events triggered by changes in light intensity. These devices provide high temporal resolution and low latency data, making them suitable for real-time applications such as robotics and augmented reality. In event-based image processing, several key techniques are employed to handle the unique characteristics of this type of sensor output: #### 1. Event Filtering and Denoising Events generated by these cameras can be noisy due to various factors including environmental lighting conditions or hardware limitations. Advanced filtering algorithms aim at removing noise while preserving important features. For instance, bilateral filters have been adapted specifically for use with event streams[^1]. ```python import numpy as np def bilateral_filter(events, sigma_spatial=0.5, sigma_intensity=0.1): filtered_events = [] for e in events: weight_sum = value_sum = 0 for neighbor in get_neighbors(e): spatial_dist = np.linalg.norm(neighbor.pos - e.pos) intensity_diff = abs(neighbor.intensity - e.intensity) w = np.exp(-spatial_dist**2 / (2*sigma_spatial**2)) * \ np.exp(-intensity_diff**2 / (2*sigma_intensity**2)) weight_sum += w value_sum += w * neighbor.value if weight_sum != 0: filtered_value = value_sum / weight_sum filtered_events.append(Event(pos=e.pos, timestamp=e.timestamp, polarity=int(filtered_value>0))) return filtered_events ``` #### 2. Frame Reconstruction One common task involves reconstructing conventional frames from raw event sequences. This process allows existing vision systems designed around standard imaging modalities to leverage information provided by event-driven sensors without requiring complete redesigns. Methods like backpropagation through time combined with recurrent neural networks facilitate efficient reconstruction tasks[^2]. #### 3. Feature Extraction Extracting meaningful descriptors directly from event clouds enables more robust object recognition under challenging scenarios where traditional methods may fail. Spatiotemporal interest points detected within dense event volumes serve as reliable landmarks that help maintain tracking accuracy even when subjects move rapidly across scenes.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值