终于有人把超融合和边缘计算说清楚了

超融合市场在国内快速增长,覆盖范围从服务器虚拟化扩展到数据库、私有云等关键业务。边缘计算兴起,预计2023年35%以上超融合产品应用于此。超融合打破传统IT架构界限,实现统一的HCI形态,简化部署,提高运维效率。

作者 | 采葑,责编 | 郭芮

封图 | 优快云 下载于视觉中国

近年来超融合在国内迎来快速增长,根据IDC最新发布的报告,2019上半年中国超融合市场增长率达56.7%,大幅超越去年同期。Gartner发布的最新报告,到2023年我国超融合市场依旧保持23%的快速增长。超融合覆盖范围正在进一步扩大,不仅服务的客户在向大规模企业扩张,应用场景也从服务器虚拟化、VDI扩展到数据库、私有云等关键业务。

随着5G时代边缘计算数据中心的兴起,超融合市场正在迎来更大的发展空间。Gartner预测,2023年35%以上的超融合产品将应用在边缘计算领域。一起来了解一下超融合和边缘计算吧!

超融合的起源与内涵

随着云技术和虚拟化技术的发展,网络服务的构建有了新的思路和方案。2013 年的 vmware 大会上提出 VSAN 技术,其主要概念是在虚拟化集群中安装闪存和硬盘来构造存储层。VSAN 技术配置具有足够磁盘插槽和存储控制器的 VSAN主机,形成可扩展的分布式存储架构,生成易于管理的共享存储源。在 VSAN 技术的基础上诞生了超融合架构的概念。

超融合架构是新一代横向扩展的软件定义架构,它由整合了 CPU、内存、存储、网络和虚拟化软件平台的通用硬件单元组成,没有固定的中心节点。它的核心概念包括线性的横向扩展、计算能力和存储能力相融合、服务器端采用高速闪存作为存储介质。超融合架构打破了传统的服务器、网络和存储的孤立界线,实现一个统一的HCI形态。

超融合是什么?

超融合的“超”指“虚拟化”,“超融合”的英文为 Hyper-Converged。可以看到,超融合架构虽然有一个“超”字,但其并不是什么神秘的概念,也并非“超级”的意思,而是与英文Hypervisor 中的 Hyper 相对应,是虚拟化的意思,对应着虚拟化这一计算架构。

超融合架构最核心的改变是存储,而这一概念的最初推动者也都是来自于互联网背景的存储初创厂商。底层采用标准化的 x86  硬件平台,上层采用软件定义的方式,将计算、存储、网络等资源集成在一起,既简化了部署,又提高了运维效率。即超融合是通过软件定义技术构建大规模数据中心的启发,结合虚拟化技术和企业 IT 的场景,为企业实现可扩展的 IT 基础架构。

“超融合架构”是指在同一套单元设备(x86服务器)中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术,而且还包括缓存加速、重复数据删除、在线数据压缩、备份软件、快照技术等元素,而多节点可以通过网络聚合起来,实现模块化的无缝横向扩展(scale-out),形成统一的资源池。

可以理解超融合是一种基于硬件之上,操作系统之下的中间件,是软件定义数据中心(SDDC)的架构,也是一种新兴的数据中心基础设施解决方案。超融合的技术核心是利用分布式文件系统(NDFS)来替代传统的SAN和NAS存储和昂贵的装用SAN交换机构建的存储网络,将虚拟化计算和存储高度整合到一个平台。目前业界普遍的认为,软件定义的分布式存储层和虚拟化计算是超融合架构的最小集,一般都具有以下通用核心组件:

(1)基于X86服务器架构的分布式存储。在服务器虚拟化的基础上,通过部署存储虚拟设备的方式,对本地存储资源进行虚拟化,再经集群整合成资源池,为虚拟机提供存储服务。

(2)高速网络。超融合使用万兆以太网,为分布式计算和存储集群提供可扩展和高可用性的网络通道。

(3)统一管理平台。虚拟化计算和存储在同一个平台进行管理,管理员在同一套平台下进行性能、容量的监控,问题排查等运维工作。

通过超融合架构融合了计算、存储和网络等资源,创建一个整体化的资源池,从而实现存储的共享,并且通过存储的冗余功能,实现高可用性。

看懂超融合了吗?

 

 “汉堡”与超融合

上面说了那么多,可能还是不懂,举生活中常见的“汉堡”来解释一下超融合吧!

我们知道,以往数据中心的计算、存储和网络各自都是独立的,而超融合系统打破了这一局面。在超融合中,计算与存储两者以合二为一,再通过软件定义的形式将它们打通,构成了我们常见的超融合一体机。

上面这段话如果用汉堡来比喻,是这样▼

在汉堡中,上下两层面包就是计算与存储,中间的夹心就是软件定义和各种服务。这三者作为一个整体紧密协作,为企业和运维人员带来了很多好处——

快速部署

正常一顿饭,淘米煮饭、洗菜、烧菜,道道工序必不可少,非得懂个十八般武艺不可。而制作汉堡,两片面包加上蔬菜、奶酪和一块午餐肉,10分钟搞定,都不用开火。正如超融合系统,从开机到 VM 调配只需十几分钟,业务快速上线不是梦。

易于扩展

没有什么是一个汉堡吃不饱的,如果有,那就来个巨无霸!

超融合可以从小规模起步,随着业务量增长,按需扩展即可,性能随规模线性提升!

简便运维

汉堡制作方便,后续清理也方便,吃完了不用洗碗,省时又省力。正如超融合在一个系统界面下实现所有硬件设备、资源、功能的统一管理,出了故障不用逐一排查,系统一扫简单明了,大大节约了运维人员的工作量。

说到这儿,你可能好奇:“为什么把软件定义和各种服务当成夹心,计算和存储不可以?”

这样排列当然是有理由的,因为夹心作为汉堡的灵魂,直接决定了汉堡的好吃与否。就像超融合的计算和存储,都是基于标准的X86架构下生产的通用硬件,而软件定义和各种服务才是各家厂商比拼实力的地方。

超融合优缺点

超融合优点

传统 IT 架构化分为很多系统和团队,比如存储、服务器、网络。其中存储团队负责采购、扩充、支持存储设备,维护存储系统,和存储厂商打交道。服务器和网络团队也是一样的做法。而融合系统就是把其中的两级或者更多系统通过预制合成为 1 个。VCE和 HP 提供这种融合系统,用软件把存储、计算、网络整合起来。VCE = VMware + Cisco + EMC,支持Hyper-V和KVM等管理程序。融合系统只能是通过不同组件来组合,而超融合系统更进一步做成了模块化设计,各种组件还可以扩展。

超融合缺点

没办法自己升级系统模组内部的组件,比如加 CPU、硬盘,只能继续增加一个新的模组。比如存储比较缺,但是 CPU 是够的,但还得买个模组加进来补充存储,CPU 就多余了。当然自己搭建内部模组就不会有这个问题。旧有系统和新系统的整合不便。比如服务器部门买了超融合系统,就相当于把自己的预算花在了存储上,而存储部门也不想因为买了超融合系统而帮计算部门管理计算资源。

边缘计算呼唤超融合

边缘计算(edge computing)是指一种在网络边缘进行计算的新型计算模式,其对数据的处理主要包括两部分:其一是下行的云服务,其二是上行的万物互联服务。其中,边缘计算当中的“边缘”是一个相对的概念,主要是指从数据源到云计算中心路径之间的任意计算、存储以及网络相关资源。

万物互联时代产生海量数据导致计算处理能力前移,我们发现最迫切的需求是处理能力和存储资源,而且需求量很大,当然还需要数据分析工具,将软件和数据推送到边缘的工具,以及跨边缘与集中式云联合起来的方法,甚至需要在边缘本身处的机器学习。这一切的一切都清晰地指出,边缘需要一些更加强大的基础架构能力。

我们认为,超融合适合边缘计算有以下三个理由:

满足新边缘节点的定位

  • 边缘计算让计算靠近数据,数据处理应用,分析应用软件都将部署到边缘,超融合可以为边缘节点提供更强大的性能和存储空间。

  • HCI完全虚拟化的广泛兼容应用软件,拥有合理存储能力、计算能力和弹性扩展能力,可以满足更多系统搭载的需求。

满足边缘计算的受限环境

  • 边缘的工作环境条件低于IDC,空间,能耗,维护便利性都不乐观。

  • 精简型HCI更小尺寸,占用空间小,功耗更低,散热要求更低,模块化快速部署能力,远程管理能力。

大幅提升中的性价比

  • 边缘计算规模大,大批量的采购场景中,性价比必须考虑。

  • HCI的硬件正变得更强劲,价格同时也在下降。

同时,超融合架构相比传统系统,是一个“预处理”好的模块化基础架构,省掉很多逐个项目设计部署的工作,而以最适合应用程序的标准化形式创建一致的范例和环境来运行工作负载。如今许多边缘工作负载都在Linux或VM上运行,基本可以无缝迁移到超融合基础架构。

而关于超融合产品在边缘计算里出现的形态,目前看和普通的超融合产品还是有所区别的。目前超融合集中部署的情况还是比较多,很多都部署在大型企业用户IDC或者云服务商IDC里。而针对边缘的使用场景,更合理的形态是精简加固型硬件平台,具有小尺寸,低能耗,高可维护性和安全性的特点,同时还具有其他附加特性,如GPS/加密/自毁等标准产品上不会出现的功能。同时它必须具有完整系统的兼容性,具有相对完整的OS平台,能够搭载大多数的基础数据分析平台。

展望

Gartner预测到2022年,所有企业将有75%全面展开边缘计算战略。在未来两年边缘计算大行其道的时刻,我们相信超融合基础架构能够帮助大家应对在这一全新领域要解决的许多新挑战,一些刚性需求诸如小尺寸,低能耗,极简部署,易于管理和维护性等能够得到满足,有力支持边缘计算发展。

声明:本文为作者投稿,版权归其个人所有。

【End】

推荐阅读 

GitHub接连封杀开源项目惹众怒,CEO亲自道歉

360 回应安全云盘出现交易异常;苹果官网陆续限购 iPhone;GitHub 屏蔽微软工程师的开源项目 | 极客头条

2020年,5种将死的编程语言

抗住百万人直播、被联合国推荐,起底飞书技术演进之路!

还不知道 AWS 是什么?这 11 个重点带你认识 AWS !

智能合约编写之 Solidity 的设计模式

你点的每一个在看,我认真当成了喜欢

<think>嗯,用户让我分析ISP管线输出到机器视觉人眼的差异及原理。这个问题挺专业的,我需要拆解清楚。首先看用户提供的引用材料,发现几个关键点:引用1提到人眼需要的图像信息存在冗余,而机器视觉只需要特征值;引用23都在讲PDAF相位对焦原理,特别是传感器如何采集相位差数据。虽然用户引用仅供参考,但这些内容其实很相关。用户核心诉求是ISPpipeline如何差异化处理两种输出。这需要从源头梳理,ISP的输入是传感器原始数据(RAW),而输出目标决定后续处理路径。人眼视觉的输出要求图像自然、色彩逼真,所以管线会做Demosaic、降噪、色彩校正等处理,最后生成标准RGB或YUV格式。机器视觉则不同,如引用1所,它只需要关键特征,所以ISP可以跳过色彩重建环节,直接输出特征图或结构化数据。仔细想想,这里有几个关键差异点:人眼输出追求视觉美感,而机器输出追求识别效率。基于这个逻辑,处理流程差异主要在三方面:1数据简化程度不同-机器输出可以舍弃色彩纹理细节2特征提取前置-比如在降噪前就抽取边缘信息,避免常规ISP流程抹除有效特征3管线分支设计-现代ISP通常是双路并行,主路径输出给人眼,子路径直接处理传感器原始数据特别注意到引用2提到的Type3架构很有启发性:ISP能从原始图像中提取PD像素(相位检测像素),这就是典型的机器视觉专用路径。同理,引用1的"特征图"概念,可能对应ISP中的统计信息单元(histogramstatistics)或低分辨率缩略图(thumbnailprocessing),这类中间数据直接输出给算法使用。最后原理分析要扣住两点本质差异:信息熵实时性。人眼输出信息量高(约12bit/像素),但机器输出可以压缩到极低;对实时性的要求也不一样,机器视觉路径往往有专用硬件加速模块。这些差异导致ISP内部需要完全不同的算法处理,就像分立的两条生产线。准备在回复时强调三点:处理目标差异、管线结构差异、以及典型硬件实现方式(如引用中的Type分类)。还要特别注意术语准确性,比如相位对焦传感器数据如何被整合到机器视觉路径中。</think> 以下是针对ISP管线(Image Signal Processor Pipeline)为机器视觉与人眼输出差异的全面分析,结合了光学原理与信号处理逻辑: --- ### **本质目标差异** 1. **人眼输出目标** - 重建符合人类视觉感知的图像(色彩还原、细节自然度、动态范围优化) - 强调主观美学指标:$ \text{PSNR} \geq 40\text{dB} $,色差控制 $ \Delta E < 5 $ - 输出格式:标准RGB/YUV图像(如sRGB、DCI-P3色域) 2. **机器视觉输出目标** - 提取结构化特征(边缘、纹理、相位差等)用于算法决策 - 目标函数:$ \min(\text{数据传输量} + \text{处理延迟}) $ - 输出格式:二值化特征图、灰度梯度图、压缩后元数据(如JPEG-XS) --- ### **ISP处理流程差异** ```mermaid graph LR A[传感器原始数据] --> B[人眼路径] A --> C[机器视觉路径] subgraph 人眼路径 B1(Demosaic) --> B2(降噪) --> B3(色彩校正) --> B4(动态范围压缩) --> B5[RGB输出] end subgraph 机器视觉路径 C1(特征提取) --> C2(数据压缩) --> C3[元数据/特征图输出] A -->|直接访问| C1 end ``` #### **关键差异点** 1. **数据选择** - **人眼路径**:需完整处理拜耳阵列原始数据(Full RAW Pipeline) - **机器视觉**:可跳过色彩重建(如引用[1]所述“舍弃色彩/饱度信息”),直接抽取传感器中掩膜像素(如PDAF像素引用[2])或提取图像梯度特征 2. **处理模块** - **人眼路径必须包含**: - 镜头畸变校正($ r' = k_1 r^3 + k_2 r^5 $) - 全局色调映射($ I_{\text{out}} = \frac{I_{\text{in}}}{I_{\text{in}} + 1} \times 255 $) - **机器视觉可省略**: - 色彩插值(Demosaic) - 人眼自适应锐化(如Unsharp Mask) 3. **精度要求** - 人眼路径:需要高位深处理(14bit+) - 机器视觉:可低精度量化(8bit甚至4bit) --- ### **传感器层特殊设计** 针对机器视觉的硬件优化(引用[2][3]): 1. **相位检测像素(PDAF)** - 部分像素被金属遮罩覆盖(左/右半遮挡) - 通过相位差 $ \Delta \phi = \arctan\left(\frac{I_L - I_R}{I_L + I_R}\right) $ 计算对焦偏移量 - Type 3架构(引用[2]):ISP直接从RAW数据提取PD像素,无需生成完整图像 2. **特征增强设计** - 特殊滤波阵列(如Quad Bayer)输出低分辨率特征图 - 片上HDR融合:多曝光合成直方图统计数据 --- ### **带宽与延迟优化原理** 1. **数据量对比** | 项目 | 人眼输出 | 机器输出 | |---|---|--| | 分辨率 | 需原始分辨率 (e.g. 12MP) | 可降采样至1/16 (e.g. 0.75MP) | | 帧率 | 30fps (人眼舒适阈值) | 120fps+ (算法决策需求) | | 带宽占用 | $$ \propto \text{分辨率} \times \text{位深} $$ | $$ \propto \text{特征维度} $$ | 2. **实时性保障** - 机器路径采用旁路架构(Bypass Pipeline),避免传统ISP延迟 - 举例:工业检测系统通过ISP直出梯度特征图,处理延迟 < 2ms --- ### **典型应用场景对比** | 人眼输出场景 | 机器输出场景 | |---|---| | 手机拍照/视频直播 | 自动驾驶障碍物检测 | | 医疗影像显示 | 工业产品缺陷识别 | | 电影后期制作 | 无人机视觉导航 | --- ### **技术演进趋势** - **深度融合架构**:如NVIDIA DRIVE系列,共享传感器数据生成人眼视图(RGB)与机器视图(语义分割图) - **元数据驱动**:ISO 21448标准要求ISP同时输出场景语义标签(如亮度分区、运动矢量) - **量子传感器突破**:单光子雪崩二极管(SPAD)实现超低照度下的机器视觉特征提取 [^1]: 机器视觉与人眼需求本质差异 [^2]: PDAF传感器数据直出机制 [^3]: 相位对焦物理原理 --- ### 相关问题 1. PDAF相位检测如何集成到ISP管线中? 2. 机器视觉路径的旁路架构如何避免信息丢失? 3. 语义分割网络能否直接处理传感器原始数据? 4. HDR处理对人眼与机器视觉的差异有哪些? 5. 未来传感器是否会分化为人眼/机器专用两类?
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值