从5大挑战带你了解多模态机器学习

本文分享自华为云社区《多模态学习综述》,原文作者:Finetune小能手。

前言

一种模态指事物发生或体验的方式,关于多模态研究的问题就是指包含多种模态。

多模态机器学习旨在从多种模态建立一种模型,能够处理和关联多种模态的信息

考虑到数据的异构性,MMML(Multimodal Machine Learning)领域带来了许多独特的挑战,总体而言五种:

      • 表示:最为基础的挑战,学习利用多种模态的互补性和冗余性,来表示和概括模态数据的方法。模态的异构性为这种表示带来挑战。例如:语言通常是符号表示,而语音通常是信号表示。
      • 转化:如何转换(映射)一种模态的数据到另一种模态。多模态不仅数据异构,而且模态间的关系通常是开放的或者说是主观的。例如,有许多种正确的方法来描述一张图片,其中可能并不存在最好的模态转译。
      • 对齐:模态对齐主要是识别多种模态的要素(子要素)间的直接联系。例如,将菜谱的每一步和做菜的视频进行对应。解决这个问题需要衡量不同模态的间的相似性,而且要考虑可能的长距离依赖和歧义。
      • 融合:将多种模态的信息进行连接,从而完成推理。例如,视听语音识别,视觉描述的嘴唇的运动与音频信号进行混合来完成所说的词的推理。当可能至少一种模态数据丢失的时候,来自不同模态的信息在推理中有不同的预测能力和噪声拓扑。
      • 协同学习:在不同模态、表示、预测模型间进行知识迁移。协同训练、conceptual grounding和zero-shot learning中有典型应用。当某一种模态资源有限时(标注数据很少)有很大意义。

应用:应用很多,包括视听语音识别(AVSR),多媒体数据索引和搜索,社交互动行为理解,视频描述等

一、多模态表示

多模态表示需解决问题:异构数据如何结合,不同级别的噪声如何处理,丢失数据如何处理

Bengio指出,好的特征表示应该:

      • 平滑
      • 时空一致
      • 稀疏
      • 自然聚类

Srivastava et.al.补充三点

      • 表征空间应该反映对应概念相似性
      • 即便一些模态不存在,表征应该易于获得
      • 使填充丢失的模态成为可能

在之前的研究中(before 2019),大部分多模态表征简单的将单模态特征进行连接,两种多模态表征方法:联合表示(joint representation),协同表示(coordinated representation)

  • 联合表示

每个模态为x_ixi​,x_m = f(x_1, \dots, x_n)xm​=f(x1​,…,xn​)

联合表示常用于训练推理均为多模态数据的任务中,最为简单的方法就是特征拼接

深度学习方法:深度学习特征后几层天然的包含高层语义信息,常用最后或倒数第二层特征

由于深度学习网络需要大量标注数据,常会利用无监督方法,例如自编码器,进行特征表示预训练,深度学习不能天然的解决数据丢失问题。

概率图模型:利用隐随机变量构建特征表示

最常见的基于图模型的特征表示方法,利用深度玻尔兹曼机(DBM)、受限玻尔兹曼机(RBM)作为模块构建,类似深度学习,特征分层,是无监督方法。也有用深度信念网络(DBN)表征每个模态然后进行联合表示的。

利用多模态深度玻尔兹曼机学习多模态特征表示,由于天然的生成特性,能够轻松处理丢失数据问题,整个模态数据丢失也可以自然解决;还可以用某种模态来生成另一种种模态的样本;DBM缺陷在于难训练,计算代价高,需要变分近似训练方法

  • 序列表征

当数据的长度是变长序列时,例如句子、视频或者音频流,使用序列表征

RNN,LSTM当前主要用于表示单模态序列,而RNN的某个时刻的hidden state,可以看做在这个时刻前的所有序列的特征的整合,AVSR中Cosi等人使用RNN来表示多模态特征。

  • 协同表示

每个模态为x_ixi​,f(x_1) \sim g(x_2)f(x1​)∼g(x2​),每个模态有对应的映射函数,将它映射到多模态空间中,每个模态的投影过程是独立的,但是最终的多模态空间是通过某种限制来协同表示的。

两种协同表示方式:相似度模型,结构化模型,前者保证特征表示的相似性,后者加强在特征结果空间中的结构化。

相似度模型:相似度模型最小化不同模态在协同表示空间中的距离,例如狗和狗的图像的距离,小于狗和车的图像的距离。深度神经网络在协同表示中的优势在于能够以端到端的方式进行协同表示的联合学习。

结构化协同空间模型:结构化协同表示模型加强了不同模态表示的附加限制,具体的结构化限制根据应用而异。

结构化协同表示空间常用在跨模态哈希中,将高维的数据压缩到紧凑的二进制表示使得相似的object有相似的编码,常用于跨模态检索中。哈希的方法迫使最终多模态空间表示有如下限制:1) N维的汉明空间,可控位数的二进制表示;2) 不同模态的相同object有着相似的哈希编码;3) 多模态空间必须保持数据相似性。

另一种结构化协同表示的方法来源于图像和语言的“顺序嵌入”。

例如,Vendrov et al. 在多模态空间中强化了一种不相似度量,它是非对称的偏序关系。主要思想是在语言和图像的表示中抓住了一种偏序关系,强制了一种层级结构。对于一张图像,这种偏序关系为“a woman walking her dog” > “woman walking her dog” > “woman walking”。

一种特殊的结构化协同空间是基于典型相关分析(CCA)。CCA利用线性投影最大化两个随机变量相关性,增强了新空间的正交性。CCA模型多用于跨模态搜索,和语音视觉信号分析。

利用核方法,CCA可以扩展为KCCA,这种非参数的方法随着训练数据规模的增长可扩展性较差。深度典型相关分析DCCA作为KCCA的替代品被提出,解决了可扩展性问题,可以得到更好的相关表示空间。深度相关性RBM也可以作为跨模态搜索的方法。

KCCA,CCA,DCCA都是非监督的方法,仅能优化特征表示的相关性,能够获取到跨模态的共享特征。

其它的方法例如,深度典型相关自编码器,语义相关性最大化方法也用于结构化协同空间表示中

  • 小结:

联合和协同表示方法是多模态特征表示的两种主要方法。

  • 联合特征表示方法将多模态数据投影到一个共同的特征表示空间,最适用于推理时所有模态的数据都出现的场景。
  • 协同特征表示方法将每个模态投影到分离但相关的空间,这种方法适用于推理时仅有一种模态出现的情况。

联合表示方法已经用在构建多于两种模态表示的场景,而协同空间表示常限定为两种模态。

二、多模态转化

从一种模态转化为另一种模态是很多多模态机器学习关注的内容。

多模态转化的任务是给定一个模态中的一个实体,生成另一种模态中的相同实体。例如,给定一张图像,我们可以生成一句话来描述这张图像,或者,给定一个文字描述,我们能够生成与之匹配的图像。多模态转化已经研究了很长时间,早期的语音合成、视听语音生成,视频描述,跨模态检索。近来,NLP和CV领域的结合,以及大规模多模态数据都推动这方面发展。

热门应用:视觉场景描述(图像、视频描述),除了识别主体部分、理解视觉场景,还需要生成语法正确,理解精确的描述语句。

多模态转化可以分为两类,基于实例的方法和生成式方法,前者使用字典实现模态转化,后者使用模型生成转化结果

考虑到生成式模型需要生成信号或者符号序列(句子),生成式模型方法挑战更大。所以早期很多方法都倾向于基于实例的方法进行模态转化。然而随着深度学习的发展,生成式模型也具备了生成图像、声音、文本的能力。

  • 基于实例的方法

基于实例的方法受限于训练数据——字典(源模态、目标模态构成的实例对)

两种算法:基于检索的方法,基于组合的方法,前者直接使用搜索到的转化结果,不会修改它们,后者依赖于更复杂的规则,基于大量搜索到的实例建立模态转化结果

基于检索的方法:基于检索的方法是多模态转化最简单的方法,它依赖字典中搜索到的最近的样本,利用它作为转化的结果,检索在单模态空间中完成,也可以在中间语义空间中完成。

给定一个待转化的源模态的实例,单模态检索通过在字典中查找最近的源模态实例实现模态转化,本质上就是通过KNN找到源模态到目标模态的映射。一些典型应用场景比如TTS,图像描述等。这种方法的好处是仅需要单一模态的表示,就可以通过检索实现。但也是由于采用搜索的方法,所以需要考虑搜索结果的重排序问题。这种方法的问题在于,在单模态空间中相似度高实例的并不一定就是好的模态转化。

另一种方法是利用中间语义空间来实现相似性比较。这种方法一般会搭配协同表示使用,应该是由于协同表示空间本身就对向量表示进行了相似性限制。在语义空间中进行模态检索的方法比单模态检索的方法效果更好,因为它的搜索空间同时反映了两种模态,更具有含义。同时,它支持双向的转化,这在单模态检索中不是很直接。然而,中间语义空间检索的方法需要学习一个语义空间,这需要大量的训练字典(源模态、目标模态样本对)。

基于组合的方法:通过将检索结果进行有意义的组合来得到更好的模态转化结果,基于组合的媒体描述(media description)主要是基于图像的描述语句都有着相同的简单结构这一特点。通常组合的规则都是人工指定的或者启发式生成的。

基于实例的方法面临的最大问题在于它的模型就是整个字典,模型会随着数据集的增加而不断增大,而且推理会变慢;另一个问题就是除非整个字典非常大,否则不能覆盖所有可能的源模态查询。这个问题可以通过多种模型组合解决。基于实例的方法进行多模态转化是单方向的,基于语义空间的方法可以在源模态和目标模态间双向转化。

  • 生成式方法

生成式方法在多模态转化中构建的模型能够对给定单一模态实例进行多模态转化,挑战在于需要理解源模态来生成目标序列、信号,可能正确的转化结果非常多,因此这类方法较难评估。

三种生成式方法:基于语法,编码器-解码器,连续生成模型,第一种方法利用语法来限定目标域,例如生成基于<主语,宾语,动词>这种模板限定的句子;编码器解码器模型先将原模态编码到一个隐空间表示,然后解码器生成目标模态;第三种方法基于源模态的一个流式输入连续生成目标模态,特别适用于时序句子翻译如TTS。

基于语法规则的模型:依赖于为了生成特定模式而预先定义的语法。这种方法先从源模态中检测高层含义,例如图像中的实体、视频中的行为;然后将这些检测结果送入一个机遇预定义语法的生成过程来得到目标模态。

一些基于语法的方法依赖于图模型生成目标模式

基于语法的方法有事在于更倾向于生成语句结构上或者逻辑上正确的实例,因为他们是基于预先定义模板的、限定的语法。缺点在于生成语法化的结果而不是创新式的转化,没有生成新的内容;而且基于语法的方法依赖于复杂的概念,这些概念的detection的pipeline很复杂,每个概念的提取可能需要单独的模型和独立的训练集

编码器解码器模型:基于端到端神经网络训练,是最近最流行的多模态转化技术,核心思想是受限将源模态编码一种向量表示,然后利用解码器模块生成目标模态。起初用于机器翻译,当前已经成功用于图片解说,视频描述;当前主要用于生成文本,也可以用于生成图像和连续的语音、声音。

编码:首先将源实例进行特定模态编码。对声音信号比较流行的编码方法是RNN和DBN;对词、句子编码常用distributional semantics和RNN的变种;对于图像用CNN;视频编码仍然常用人工特征。也可以使用单一的模态表示方法,例如利用协同表示,能够得到更好的结果。

解码:通常利用RNN或者LSTM,将编码后的特征表示作为初始隐藏状态。Venugopalan et al.验证了利用预训练的LSTM解码器用于图像解说对于视频描述任务是有益的。利用RNN面临的问题在于模型需要从单一的图像、句子或者视频向量表示来生成一种描述。当需要生成长序列时,模型会忘记初始输入。这个问题可以通过注意力机制解决,让网络在生成过程中更关注与图像、句子、视频的部分内容。基于注意力的生成式RNN也被用于从句子生成图像的任务,不真实但是有潜质。

基于编码器解码器的网络虽然成功但是仍面临很多问题。Devlin et al.指出网络可能记住了训练数据,而不是学习到了如何理解和生成视觉场景。他观察到kNN模型生成的结果和编解码网络的生成结果非常相似。编解码模型需要的训练数据规模非常大。

连续生成模型:连续生成模型用于序列翻译和在线的方式在每个时间戳生成输出,当sequence到sequence转化时,这种方法很有效,例如文本转语音,语音转文本,视频转文本。

许多其它的方法也被提出用于这种建模:图模型,连续编解码方法,各种其它的回归分类方法。这些模型需要额外解决的问题是模态间的时序一致性问题。近来,Encoder-Decoder模型常用于序列转化建模。

  • 小结和讨论

多模态转化所面临的一大挑战是很难进行评估,有些任务(例如语音识别)有一个正确的translation,而像语音合成和媒体描述则没有。有时就像在语言翻译场景中一样,多种答案都是正确的,哪种翻译更好通常非常主观。当前,大量近似自动化评价的标准也在辅助模态转化结果评估。

人的评价标准是最理想的。一些自动化评价指标例如在媒体描述中常用的:BLEU、ROUGE、Meteor、CIDEr也被提出,但是褒贬不一。

解决评估问题非常重要,不但能够用于比较不同的方法,而且能够提供更好的优化目标。

三、多模态对齐

多模态对齐是指找到两种或多种模态的instances中sub-components之间的对应关系,例如:给定一张图片和一个描述,找到词或者短语对应图片中的区域;另一个例子是给定一个电影,将它和字幕或者书中的章节对齐。

多模态对齐分成两类:隐式对齐和显示对齐,显示对齐显示的关注模态间sub-components的对应关系,例如将视频和菜谱中对应的步骤对齐;隐式对齐常作为其它任务的一个环节,例如基于文本的图像搜索中,将关键词和图片的区域进行对齐

  • 显示对齐

sub-components间的相似性衡量是显示对齐的基础,两类算法无监督方法和(弱)监督方法

无监督方法:无监督方法不需要模态间对齐的标注,Dynamic time warping衡量两个序列的相似性,找到一个optimal的match,是一种dynamic programming的方法。由于DTW需要预定义的相似性度量,可以利用CCA(典型相关性分析)将模态映射到一个协同表达空间。DTW和CCA都是线性变换,不能找到模态间的非线性关系。图模型也可以用于无监督多模态序列的对齐。

DTW和图模型的方法用于多模态对齐需要遵循一些限制条件,例如时序一致性、时间上没有很大的跳跃、单调性。DTW能够同时学习相似性度量和模态对齐,图模型方法在建模过程中需要专家知识。

(弱)监督方法:监督方法需要标注好的模态对齐实例,用于训练模态对齐中的相似性度量,许多监督式序列对齐方法收到非监督方法的启发,当前深度学习方法用于模态对齐更加常见。

  • 隐式对齐

常用作其它任务的中间步骤,使得例如语音识别、机器翻译、多媒体描述和视觉问答达到更好的性能。早期工作基于图模型,当前更多基于神经网络。

图模型:需要人工构建模态间的映射关系

神经网络:模态转换如果能够使用模态对齐,任务的性能可以得到提升

单纯的使用encoder只能通过调整权重来总结整张图片、句子、视频,作为单一的向量表示;注意力机制的引入,使得decoder能够关注到sub-components。注意力机制会让decoder更多的关注sub-components

注意力机制可以认为是深度学习模态对齐的一种惯用方法。

  • 小结

模态对齐面临着许多困难:少有显示标注模态对齐的数据集;很难设计模态间的相似性度量;存在多种可能的模态对齐,而且一个模态中的elements可能在另一个模态中没有对应。

四、多模态融合

多模态融合就是整合多种模态的信息进行分类或者回归任务,多模态融合研究可以追溯到25年前。多模态融合带来的好处有:(1)同一个现象的不同模态表示能够产生更robust的推理结果;(2)从多种规模中能够得到辅助的信息,这些信息在单一模态中是不可见的;(3)对于一个多模态系统而言,模态融合能够在某一种模态消失时仍正常运行。

当前多模态表示和融合的界限愈发模糊,因为在深度学习中,表示学习和分类/回归任务交织在一起。

两种多模态混合方法:模型无关和基于模型的方法,前者不直接依赖于一种特定的机器学习方法,后者显示的在构建过程中进行融合(核方法、图模型、神经网络)。

  • 模型无关方法

模型无关的方法有三种:前期融合、后期融合和混合融合。前期融合是特征级别的融合,后期融合是推理结果的融合,混合融合同时包括两种融合方法。

模型无关的融合方法好处是:可以兼容任何一种分类器或者回归器

前期融合可以看做是多模态表示的一种前期尝试

后期融合利用单一模态的预测结果,通过投票机制、加权、signal variance或者一个模型进行融合。后期融合忽略了模态底层特征之间的关系

  • 基于模型的方法

多核学习(MKL):kernel SVM的扩展,对于不同模态使用不同的kernel

MKL方法是深度学习之前最常用的方法,优势在于loss function是凸的,模型训练可以使用标准的优化package和全局优化方法,劣势在于测试时对于数据集的依赖推理速度慢。

  • 图模型

在本篇综述中仅考虑浅层的图模型,深度图模型例如DBN可以参考前面章节内容,大多数图模型可以分成两类:生成式(联合概率)和判别式(条件概率)

图模型能够很容易的发掘数据中的空间和时序结构,同时可以将专家知识嵌入到模型中,模型也可解释

  • 神经网络

神经网络用于模态融合所使用的模态、优化方法可能不同,通过joint hidden layers进行信息融合的思路是一致的。神经网络也用于时序多模态融合,通常采用RNN和LSTM,典型的应用是audio-visual情感分类,图片解说

深度神经网络用于模态融合优点:(1)可以从大量数据学习;(2)端到端学习多模态特征表示和融合;(3)和非深度学习方法相比性能好,能学习复杂的decision boundary

缺点:可解释性差,不知道网络根据什么进行推理,也不知道每个模态起的作用;需要大量训练数据才能得到好的效果

  • 小结

多模态融合任务中有如下挑战:1)signal可能不是时序对齐的,例如密集的连续信号vs稀疏的事件;2)很难建立一个模型来发掘补充信息而非辅助信息;3)每个模态在不同时间点可能展现出不同类型、不同级别的噪声。

五、多模态共同学习

多模态共同学习旨在通过发掘另一种模态的信息来帮助当前模态建模

相关场景:一种模态的资源有限,缺乏标注数据或者输入噪声大,标签可靠性低

三种co-learning的方法:并行,非并行,混合;第一种方法需要一种模态的observation和另一种模态的observation直接连接,例如在audio-visual speech数据及上,video和speech sample来自同一个speaker;非并行数据方法不需要两种observation的直接连接,通常利用类别间的交集,例如在zero shot learning中利用Wiki的文本数据扩展传统的视觉目标识别数据集提升目标识别的性能;混合数据的方法通过一种共享模态或者数据连接起来。

  • 并行数据

模态之间共享一个实例集合,两种方法:协同训练和表征学习

协同训练:当某一个模态的标记数据非常少时,可以利用协同训练生成更多的标注训练数据,或者利用模态间的不一致性过滤不可靠标注样本

协同训练方法能够生成更多的标注数据,但也可能会导致overfitting

迁移学习:多模态玻尔兹曼机或者多模态自编码器将一种模态特征表示转化为另一种,这样不仅能得到多模态表征,而且对于单模态而言推理过程中也能得到更好的性能。

  • 非并行数据

不需要依赖模态间共享的实例,有共享的类别或者概念(concept)即可

迁移学习:迁移学习能够从一个数据充分、干净的模态学习特征表示迁移到另一个数据稀缺、噪声大的模态,这种迁移学习常用多模态协同特征表示实现。

Conceptual grounding:通过语言以及其他附加模态,例如视觉、声音、甚至味觉,学习语义含义,单纯的利用文本信息不能很好的学习到语义含义,例如人学习一个概念的时候利用的是所有的感知信息而非单纯的符号。

grounding通常通过寻找特征表征间的共同隐空间或者分别学习每个模态的特征表示然后进行拼接,conceptual grounding和多模态特征对齐之间有很高的重合部分,因为视觉场景和对应描述对齐本身能够带来更好的文本或者视觉特征表示。

需要注意的是,grounding并不能在所有情况下带来性能的提升,仅当grounding与具体任务相关时有效,例如在视觉相关任务中利用图像进行grounding

Zero-shot learning:ZSL任务是指在没有显示的见过任何sample的情况下识别一种概念,例如不提供任何猫的图片对图片中的猫进行分类。

两种方法:单模态方法和多模态方法

单模态方法:关注待识别类别的组成部分和属性,例如视觉方面通过颜色、大小、形状等属性去预测为见过的类别

多模态方法:利用另一个模态的信息,在另一个模态中该类别出现过

混合数据:通过共享的模态或者数据集连接两种非数据并行的模态,典型的任务例如多种语言进行图像描述,图片会与至少一种语言之间建立联系,语言之间的可以利用机器翻译任务建立起联系。

目标任务如果仅有少量标注数据,也可利用类似或相关任务去提升性能,例如利用大量文本语料指导图像分割任务。

  • 小结

多模态协同学习通过寻找模态之间的互补信息,使一种模态影响另一种模态的训练过程。

多模态协同学习是与任务无关的,可以用于更好的多模态特征融合、转换和对齐。

 

点击关注,第一时间了解华为云新鲜技术~

相关推荐

鸿蒙案例上新啦 | 购物、听歌、健身:15个模板带你一键激活社交娱乐

页面层级如何组织、跨页共享状态如何同步、列表与详情及个人中心如何形成稳定闭环。鸿蒙开发实践中心将这些高频消费与互动场景沉淀为可参考的标准模板,提供从业务架构到界面实现的快捷实践入口。更多实战案例欢迎前往鸿蒙开发实践中心案例中心查看并开启云端体验。

华为云官方博客 371

鸿蒙案例上新啦 | 出门打车、到家上课:25个模板带你一屏打通日常生活

如何合理拆分页面组件、如何建立单一可信的状态源、如何让用户在每一步操作中都获得明确反馈。鸿蒙开发实践中心以标准化的应用与元服务模板为入口,将清晰的业务架构与可复用的代码结构直观呈现。不妨立即挑选一个感兴趣的方向进入云端环境,从页面布局、组件封装、状态管理到路由组织,亲手跑通你的鸿蒙实战项目。

华为云官方博客 347

LakeAgent:DWS数据仓库的第二大脑,告别 “翻译式运维”,迈入智能自治时代

和普通 SQL 改写工具不同,LakeAgent 自动做多方案代价对比,主动规避负优化陷阱:补充分区键过滤实现剪枝,扫描分区由 37 收敛至 1,执行代价从 758.28 降至 113.74;未来的数据仓库,将不止能算、能存,更能看懂自己、诊断自己、理解自己。长久以来,数仓的智能都依附于人:信号需要人解读,瓶颈需要人研判,经验困在个体里,无法随底座永续生长。CPU 高、CPU 告警、CPU 诊断、CPU 使用率过高、CPU 满。语法、错误码、计费、性能调优、最佳实践、故障处置等全场景内容。

华为云官方博客 570

如何使用RDS Supabase后端BaaS能力:文件存储(File Storage)

• product-images(公开桶,允许公共读取):策略名称"Public read for product-images",允许SELECT,目标角色anon,策略定义bucket_id = 'product-images'。上传/删除需另配INSERT/DELETE策略,详见SQL。• product-specs(私有桶,仅认证用户访问自己的文件夹):建议拆为上传、读取、删除三条策略,策略定义均为 bucket_id = 'product-specs' 且仅限本人文件夹(详见下文 SQL)。

华为云官方博客 496

如何使用RDS Supabase后端BaaS能力:实时订阅与推送(Realtime)

Realtime 把数据库的每次变更同步到客户端:表里增、删、改一行,订阅者无需刷新页面或主动请求即可秒级收到。三大能力各司其职:• Postgres Changes — 监听表的 INSERT/UPDATE/DELETE,变化即通知• Broadcast — 客户端之间直接互发,适合瞬时通知、协同编辑• Presence — 跟踪频道里“谁在线”典型场景有实时数据展示(订单、库存、监控指标即时刷新)、即时通讯(消息收发、在线名单、“对方正在输入”)、协同编辑与实时通知。

华为云官方博客 486

AI Agent如何通过MCP连接到华为云RDS Supabase应用平台

Schema元数据列出所有可访问的表(按schema分组)。Schema元数据列出表的列及元数据(类型/默认值/约束)。Schema元数据列出所有约束(PK/FK/UNIQUE/CHECK/EXCLUDE)。可按schema/表/类型过滤。Schema元数据列出所有外键关系。可按schema/表过滤。Schema元数据列出所有索引及定义和大小。可按schema/表过滤。Schema元数据列出已应用的数据库迁移记录。Schema元数据列出已安装的PostgreSQL扩展。

华为云官方博客 487

华为大数据Flink让每一 CU 算力,跑出开源 5.74 倍的性能

1. 开源Apache Flink 已成为业界流计算事实标准,但在极端重负载场景下存在性能瓶颈。2. 华为大数据Flink通过多项自研深度优化,在执行计划、算子执行、状态存储三个层面构建协同的优化体系。3. Nexmark Benchmark 测试结果:整体性能提升 5.74 倍,极端重负载场景性能领先最高 18.3 倍。4. 100% 兼容 Apache Flink 1.20,业务代码零改造,无缝迁移。

华为云官方博客 393

LakeAgent实战 | 业务分析篇从一句提问到业务分析

本文以“订单金额变化”分析为例,展示LakeAgent如何通过自然语言提问,结合DataArtsStudio的数据资产与专业技能,帮助业务人员快速定位数据、生成SQL、追踪血缘、生成报告。从问题出发,逐步实现数据发现、变化洞察、原因追溯与团队协作,最终形成可复用的分析流程与企业规则,显著提升数据分析效率与一致性。

华为云官方博客 402

华为云RDS Supabase AI应用已开放公测 :30分钟搭建AI应用后端

认证、存储、实时推送、数据库API——4个后端模块,传统开发需要数周。今天,你只需要30分钟。AI创业公司的全栈开发工程师。上周老板说"下周要上线的AI对话应用,后端你来搞"——认证鉴权、数据库接口、文件存储、实时推送,每一个模块都需要数周搭建,而市场不会等你。小张打开华为云RDS Supabase,30分钟搭好认证、数据库API、对象存储,剩下的时间全用来打磨AI交互体验。基于开源Supabase+华为云RDS PostgreSQL全托管能力,为开发者提供。

华为云官方博客 409

如何使用RDS Supabase后端BaaS能力:数据库函数(Database Function)

上一篇介绍了 Database Data API——建表即自动生成增删改查接口,解决单表读写,但聚合统计、跨表事务、字段自动维护等逻辑已超出其能力边界。本篇推进到数据库函数(Database Function):把业务逻辑封装进数据库,前端通过 .rpc() 调用,由触发器自动响应数据变更。上一篇中,小张基于 Data API 完成了产品目录的建表与基础读写。但新需求随之而来:按分类统计产品数与价格区间、上架新品同时写产品表与定价表、产品修改后自动刷新更新时间。

华为云官方博客 473

如何使用RDS Supabase后端BaaS能力:创表即生成API(Database Data API)

认证、存储、实时推送、数据库API——4个后端模块,传统开发要数周。本系列逐个拆解,首篇聚焦数据库API(Database Data API):建表即得 API,无需手写后端。小张,AI创业公司的全栈工程师。老板让他做个产品目录页,展示产品与价格、支持上下架。传统做法要搭后端、写接口、配权限,工期少说1-2周;而在华为云RDS Supabase,建两张表、应用 SDK 直连,几分钟增删改查全跑通。

华为云官方博客 488

从一句话到一个能出去的链接,AI开发者空间做了什么

自行搭建的 Agent、正在使用的开源项目、团队既有的工具,都可以接入,可以通过AI创建或者手动搭建环境;华为云 AI开发者空间——面向开发者的云端一站式开发平台,做的就是把这段路接上:环境免安装,浏览器打开即为完整的 Linux 运行环境,预置的 AI 智能体开箱即用。第一个任务建议选能出结果的:做一个游戏、生成一个页面、创建一台实例,从需求走到可访问的链接,一次就能看清这个环境在做什么。沙箱是一个完整的 Linux 环境,依赖、服务、端口都是真实的,不是模拟。环境释放后,权限随之失效。

华为云官方博客 432

华为云码道配置自定义大模型,四种方式完整实操

案例介绍。

华为云官方博客 644

图数据库:实现穿透式监管的数据基座

穿透式监管标志着国企监管从“管企业”向“管资本”转型过程中的关键一跃。而图数据库正是这一跃的技术支点。从股权穿透到资金链穿透,从供应链穿透到数据穿透,华为GES图数据库正在将“穿透式监管”从理念变为可落地、可操作的实践。无论是天眼查式的全量链路查询,还是某集团财经的税务规则判断,抑或是芯片供应链式的部件风险分析,乃至通过Palantir构建决策知识图谱,其底层逻辑都是一致的——用图的力量,穿透一切形式的“隔离层”,直抵风险本质与责任核心。

华为云官方博客 671

《公共云三十问》正式收官,奔赴企业AI百场景新征程

今年6月底,公共云产业联盟重点推出《公共云三十问》专栏,以每周三问的节奏,连载十周,解读《先进公共云》白皮书,分享国计民生系列案例,旨在凝聚共识、推动落地实践。同时,专栏分析公共云在产业升级、民生福祉、科技创新、全球发展等方面的作用,梳理中国特色公共云发展路径:以普惠云拓展用云广度,以智算云提升用云深度,以自主云夯实用云厚度,以全球云打开用云跨度。这十问从专属云、行业云切入,深入政务、金融、交通、电力、钢铁、化工、油气、制造等国计民生场景,回答公共云“怎么用”。

华为云官方博客 474

开发者小技巧|IAM配置,让码道代码智能体连续30天免登录

案例介绍。

华为云官方博客 651

码道深度对接CodeArts,让需求自动落地为代码

案例介绍。

华为云官方博客 723

【公共云三十问 之三十】拥抱AI,企业如何建设面向智能体的专属云?

企业可分阶段建设覆盖开发、运行、运营及安全的一体化智能体平台——从构建一站式、高低码协同的智能体开发平台,到打造高性能、极致弹性的运行时环境,再到搭建AgentOps驱动的持续运营与运维体系,同时构建端到端、多层次的全链路安全防护体系。在数据湖建设方面,遵循“存量复用、平滑演进、AI导向、分步迭代”原则,分三阶段推进——打造AI多模数据湖核心能力、完成存算分离与统一元数据管理、实现闭环赋能全面支撑智能体规模化落地,在保护既有投资的前提下将传统数据平台转型为AI数据专属供给平台。

华为云官方博客 825

【公共云三十问 之二十九】国计民生之制造:制造云如何重塑数智时代的新质生产力?

平台打通软件交付的完整路径,覆盖需求管理、代码托管、代码检查、编译构建、制品仓库、部署、测试等关键环节,支持大模型能力融入研发全流程,实现从需求到交付的端到端管理。通过构建“研发一朵云”,方案打破地域与组织壁垒,实现跨团队协同开发,有效缩短软件交付周期,助力工业制造企业从“传统研发”走向“敏捷研发”,加速数智化转型进程。当制造云真正成为数据流通的平台、AI创新的底座,公共云的社会价值将从基础设施层向生产场景层持续延伸,为新型工业化建设和制造强国战略注入源源不断的动力,重塑数智时代的中国制造新质生产力。

华为云官方博客 793

告别重复手工迁仓,码道MCP+Skill实现仓库批量迁移

案例介绍。

华为云官方博客 791

【公共云三十问 之二十八】国计民生之油气:智算云如何叩响数智时代的“地心蓝金”?

西南油气田以“向地球深部要资源”为战略方向,联合以华为云Stack为代表的公共云服务商共同打造统一算力底座,建设西南区域数据湖与通用技术平台,构建“勘探开发工程技术、天然气生产过程管控、天然气产运储销”等三个一体化协同应用场景,支撑油气勘探、开发生产、管输储运等全业务链的数智化转型。当智算云真正成为数据流通的平台、AI创新的底座,油气田得以将算力效能、数据价值与智能技术深度融入勘探开发全链条,将“看不见的算力”转化为“摸得着的储量”,以智能化手段持续降低勘探风险、缩短发现周期、提高采收效率,确保生产安全。

华为云官方博客 613

【公共云三十问 之二十七】国计民生之化工:数智云如何重塑传统化工新范式?

在架构方面,方案构建云边协同的统一体系,涵盖AI协同、数据协同与运营协同三大维度——总部集中训练大模型,边缘节点负责推理执行,云边持续迭代,实现“边用边学”的智能闭环,模型平均精度提升20%以上。此外,方案提供一站式企业级工业物联网平台、数据湖与数据治理平台,覆盖工业数据分析“采、存、算、管、用”全流程,打通生产现场与管理系统间的数据壁垒,有效消除数据孤岛。层面,方案充分发挥软硬协同优势,实现计算、存储、网络与云平台的深度协同,训练线性度超95%,为大模型训练推理提供强劲算力支撑。▲化工“数智”新模式。

华为云官方博客 664

【公共云三十问 之二十六】国计民生之钢铁:数智云如何淬炼中国钢铁新力量?

同时,构建云边端协同的统一架构,支撑集团总部与各生产基地两级协同发展——总部集中训练大模型,边缘节点负责推理执行,云边持续迭代,实现训推一体化的资源调度与高效协同,为钢铁行业的数智化转型构建了坚实的算力底座。层面,方案构建覆盖“工业数采→边缘IT/OT融合→统一数据湖→数据治理平台→数据应用”全链路的一站式数据治理与流通平台,打通生产现场与管理系统间的数据壁垒,让数据“采得到、流得动、用得好”,加速数据价值从生产现场向经营决策层流动释放。湘潭钢铁集团的钢铁数智云,是钢铁工业智能云建设的标杆案例。

华为云官方博客 526

LakeWatch——MRS 智能运维Agent

从资源池、队列、作业等多个维度,对集群CPU与内存资源进行精细化分析与对比,直观呈现不同时间段的空闲、满载等使用状态,识别资源浪费,指导治理优化,为扩缩容决策提供数据支撑。对HDFS存储进行多维度深度分析(目录、用户、用户组等),涵盖使用量、增量、文件大小分布及数据热度等指标,帮助快速识别增长较快的目录、长期未访问的文件,统计目录文件数量与小文件占比,评估HDFS总存储量与扩缩容需求,为存储治理与资源规划提供全面数据支撑。Agent主动巡检,识别异常趋势并提前预警,让运维从"事后处理"转向"事前预防"。

华为云官方博客 516

华为云专题文档发布:丰富的AI案例、选型指导和概念解读

发布 “云服务选型”、“云计算概念”专题,提供云服务选型指导,助您选择匹配业务的云服务,解读云计算相关概念,开启云上学习之路。开发者工具和文档专区上线,提供从学习、实践到反馈的全链路支持。帮助中心新增100余篇AI案例。

华为云官方博客 286

一个人,也能用AI做点“星东西”

华为云星耀创想者大赛-2026华为云OPC创意大赛等你来~

华为云官方博客 291

从需求到可执行工作项:MCP+Skill 让智能体规划真正落地

回顾整个体验,以前让智能体帮我拆需求,它是洋洋洒洒给我列了一大篇 Markdown,看着挺像那么回事,但最后还是得我一条条往 CodeArts Req 里搬,搬完再手动挂父子关系、排日期,拆需求五分钟,搬运两小时。现在好了,MCP 给智能体接上了"手",Skill 给它装上了"项目经理的脑子",一句话下去,34 个工作项连带排期、层级关系全给我建好了,甘特图一拉,齐刷刷都在两周内,节省了多少工作量啊,美滋滋。本次实操在码道代码智能体基础上,构建了一套"需求→可执行工作项"的自动化规划方案。

华为云官方博客 579

华为云码道「码力续航计划」更新!

✅上新GLM‑5.3‑Flash,高速响应,代码生成、工程解析、Agent调试高效输出。新增GLM‑5.3‑Flash福利模型,每日解锁1000万免费Tokens。● 本次活动共发放总量价值100万元Tokens,发完即止!把耗算力的编码重活,交给华为云码道代码智能体🚀🚀。● 每日额度准时刷新,当日清零、次日满血重置。✅复杂算法、大项目解析、批量代码生成随便跑。✅不用抠额度、不用算消耗,放开调试大胆迭代。✅无需额外操作,登录即送,直接切换模型使用。● 把算力交给码道,让撸码不再内耗👏🏻。

华为云官方博客 695

【公共云三十问 之二十四】国计民生之交通:交通云如何铺就数智通衢新坦途?

交通行业作为支撑实体经济的关键基础设施,涵盖公路、铁路、机场、港口、地铁等众多子领域,其中,公路网络作为综合交通运输体系的基础骨架,承担着全国超过70%的客货运量,其数字化、智能化转型的需求尤为迫切。方面,提供Agent开发框架、知识库管理、RAG工程、意图识别、静态应用编排及模型评测等能力,支持客户将行业知识、业务流程与AI能力深度融合,快速构建面向收费稽核、路网调度、应急处置等场景的智能应用。开发并实现落地应用,全面覆盖建设、管理、养护、运营、服务、安全、办公七大业务领域。

华为云官方博客 464

【公共云三十问 之二十五】国计民生之电力:电力云如何点亮数智电力新引擎?

方案构建了覆盖数据获取、质量评估到标准化处理的全链路能力。基于公共云服务商智算底座及气象大模型,通过时空图神经网络重新建模产流机制,中国华电建成超50TB多源融合数据集,突破时空建模与机理融合等五大关键技术,短期径流预测精度较传统机理模型提升5个百分点以上,实现15天中期径流预测精度超85%,推理效率达秒级。基于气象大模型的基础架构与预训练能力,客户可直接在大模型之上开展增量训练与微调,充分利用场站所在区域的高精度历史数据(如3公里、1公里分辨率),针对不同场站和区域的地形地貌与气候特征进行模型调优。

华为云官方博客 381
上一篇: Angular:都2021年了,你为啥还没用Angular
下一篇: 数仓ETL系统:给强大的“心脏”配上“超级流水线”
华为云开发者联盟
华为云开发者联盟 企业官方账号 企业官方账号
博客等级 码龄10年 72万+粉丝 5985原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值