科技很有意思

本文将介绍阿里云 PAI 团队近期发布的 BladeDISC++项目，探讨在动态场景下如何优化深度学习训练任务的显存峰值，

近日，人工智能领域全球顶级学术会议 NeurIPS 正式召开。阿里云 PAI 团队的论文《PertEval: Unveiling Real Knowledge Capacity of LLMs with Knowledge-Invariant Perturbations》被 NeurIPS 2024 收录，并入选 Spotlight。

阿里云人工智能平台 PAI与复旦大学王鹏教授团队合作，在自然语言处理顶会EMNLP 2024上发表论文《Distilling Instruction-following Abilities of Large Language Models with Task-aware Curriculum Planning》。

阿里云人工智能平台 PAI 与华南理工大学金连文教授团队合作，在自然语言处理顶会 EMNLP 2024 上发表论文《VideoCLIP-XL: Advancing Long Description Understanding for Video CLIP Models》

阿里云与华南理工大学金连文教授团队、复旦大学王鹏教授团队共同研发的论文入选 EMNLP2024。此次入选标志着阿里云人工智能平台 PAI 在自然语言处理和多模态算法能力方面研究获得了学术界认可。

阿里云人工智能平台PAI与华南理工大学合作在国际多媒体顶级会议ACM MM2024上发表VICTORIA算法，这是一种面向StableDiffusion的多目标图像编辑算法。

《面向StableDiffusion的多目标图像编辑算法VICTORIA》论文入选MM2024，此次入选标志着阿里云人工智能平台PAI在图像编辑算法方面的研究获得了学术界的充分认可。

阿里云计算平台大数据基础工程技术团队主导，与浙江大学合作的论文《Cluster-Wide Task Slowdown Detection in Cloud System》被数据挖掘领域顶会 ACM SIGKDD2024 接收

阿里云计算平台大数据基础工程技术团队主导，与浙江大学合作的论文《Cluster-Wide Task Slowdown Detection in Cloud System》被数据挖掘领域顶会ACM SIGKDD2024接收

关于推荐模型自动编译优化的论文《RECom: A Compiler Approach to Accelerate Recommendation Model Inference with Massive Embedding Columns》在系统领域顶会ASPLOS 2024上中选并进行了展示，并被授予了Distinguished Artifact Award 荣誉

阿里云人工智能平台PAI与集团安全部内容安全算法团队、华东师范大学何晓丰教授团队合作，在自然语言处理顶级会议ACL2024上发表论文

阿里云人工智能平台PAI与阿里集团安全部内容安全算法团队、华东师范大学何晓丰教授团队合作，在自然语言处理顶级会议ACL2024上发表论文。

阿里云人工智能平台 PAI 的多篇论文在 ACL2024 上入选。论文成果是阿里云与阿里集团安全部、华南理工大学金连文教授团队、华东师范大学何晓丰教授团队共同研发。

论文在阿里云云原生大数据计算服务MaxCompute 3个集群的真实数据集上进行了实验，综合成本和QoS两个层面，MagicScaler要显著优于其他经典的弹性伸缩算法，实现了“高QoS（Quality of Service），低成本”的双丰收。

大规模电商图文数据中自动化构建多模态概念级知识图谱的方案，将概念级多模态先验知识注入到VLP模型中，以实现跨模态图文样本在概念层面进一步对齐。

阿里云机器学习平台PAI主导的多篇论文在 ACL 2023 Industry Track 上入选。

面向中文特定领域的文图生成模型，采用与Stable Diffusion一样的模型结构，在给定中文文本的情况下可以实现快速的文图生成工作。

ConaCLIP针对轻量化的图文检索任务进行设计，是一种通过全连接的知识交互图学习方式将知识从dual-encoder大模型中蒸馏到dual-encoder小模型的算法。

阿里云机器学习平台PAI和北京大学杨智老师团队合作的论文被数据库领域顶会SIGMOD 2023接收。

近日，阿里云人工智能平台PAI与华东师范大学数据科学与工程学院合作在自然语言处理顶级会议EMNLP2023上发表基于双曲空间和对比学习的垂直领域预训练语言模型。通过比较垂直领域和开放领域知识图谱数据结构的不同特性，发现在垂直领域的图谱结构具有全局稀疏，局部稠密的特点。为了补足全局稀疏特点，将垂直领域中分层语义信息通过双曲空间注入到预训练模型中。为了利用局部图结构稠密特点，我们利用对比学习构造图结构不同难度的正负样本来进一步加强语义稀疏的问题。论文：Ruyao Xu, Taolin Zhang, Chengy

我们提出一个自动化收集prompt优化的数据集方案：原始数据源是DiffusionDB，它只包含未配对的提示。启发式地，我们根据提示的长度、提示中包含的某些标签等将提示分为低质量提示和高质量提示。接下来，我们i)使用BLIP 对与高质量提示相关的图像进行caption，并将结果视为相应的低质量提示，因为说明文字较短且缺乏细节;ii)使用ChatGPT对高质量的提示进行总结，并将总结视为低质量的提示;iii)使用ChatGPT从低质量的提示生成更好的提示;结果被认为是高质量的提示。

近日，阿里云人工智能平台PAI与华南理工大学朱金辉教授团队、达摩院自然语言处理团队合作在自然语言处理顶级会议EMNLP2023上发表基于机器翻译增加的跨语言机器阅读理解算法X-STA。

近期，阿里云人工智能平台PAI主导的多篇论文在EMNLP2023上入选。EMNLP是人工智能自然语言处理领域的顶级国际会议，聚焦于自然语言处理技术在各个应用场景的学术研究，尤其重视自然语言处理的实证研究。该会议曾推动了预训练语言模型、文本挖掘、对话系统、机器翻译等自然语言处理领域的核心创新，在学术和工业界都有巨大的影响力。此次入选意味着阿里云人工智能平台PAI自研的自然语言处理算法达到了全球业界先进水平，获得了国际学者的认可，展现了中国人工智能技术创新在国际上的竞争力。

近日，阿里云人工智能平台PAI与浙江大学吴健、应豪超老师团队合作论文《Arithmetic Feature Interaction is Necessary for Deep Tabular Learning》正式在国际人工智能顶会AAAI-2024上发表。

总的来说，本文面向复杂逻辑版面分析场景提出了一个可插拔的多模态融合方法，很好地从多模态的视角出发，提升了现有的单模态目标检测器在版面分析任务上的表现。如何设计统一高效的多模态模型能够更好结合文档的视觉和文本特征是值得后续探索的。针对M2Doc，如何设计更有效的多模态融合策略也是值得进一步探索的。现有的关于文档的密集文本的表征方式相当复杂，如何能够进一步简化得到文本特征的步骤也值得研究。张宁、郑晓怡、陈佳禹、江宗源、黄俊、薛洋、金连文。

近日，由阿里云计算平台大数据基础工程技术团队主导的四篇时间序列相关论文分别被国际顶会ICLR2024、ICDE2024和WWW2024接收。

MuLTI，这是一种高度准确高效的视频和语言理解模型，可以实现高效有效的特征融合和对下游任务的快速适应。本文详细介绍基于MuLTI实现高效视频与语言理解。

小样本类增量学习代表了机器学习领域中一个高度挑战性的议题，其核心目标在于能够在仅有限的数据支持下识别新类别，同时保留对已学习类别的认知，而无须重新训练整个模型

现实场景中的时间序列在不同的时间尺度展现出不同的变化，如云计算场景中的CPU，GPU，内存等资源需求呈现出日、月、季节等独特尺度的时间模式. 多尺度建模主要从不同的尺度中提取时序特征和依赖关系，建模多尺度需要考虑两个方面：时间分辨率和时间距离。（1）多尺度Transformer模块：在多尺度Transformer块中，我们对输入的时序特征进行不同patch大小的时序划分，不同的patch大小代表不同时序的时间分辨率。论文作者： 陈鹏， 张颖莹， 程云爻， 树扬， 王益杭， 文青松， 杨彬， 郭晨娟。

近期，阿里云人工智能平台PAI发表的图像编辑算法论文在CVPR-2024上正式亮相发表。论文成果是阿里云与华南理工大学贾奎教授领衔的团队共同研发。CVPR（计算机视觉与模式识别会议）是计算机视觉和模式识别领域的顶级国际会议，旨在展示最新的研究进展和技术成就，推动这一领域理论与应用的前沿进展，并通过精选提交的高水平学术论文和实践工作，对学术界和工业界产生深远的影响。此次入选标志着阿里云人工智能平台PAI自主研发的图像编辑算法达到了先进水平，赢得了国际学术界的认可。

因此，我们可以根据当前数据样本与其对应的正常模式频域子空间的关系，令对于当前正常模式而言的正常数据重构误差远小于异常数据的重构误差，以此检测异常。更进一步，我们提出上下文感知的傅里叶变换和反变换机制，有效利用频域的稀疏性提升计算效率，在频域上不存在时序依赖，可以对该模型进行细粒度的高并发实现，进一步减少异常检测的时间开销。近来，基于重构类方法的异常检测模型独占鳌头，在无监督异常检测中达到了很高的准确度，涌现了大量优秀的神经网络模型，例如：基于RNN类的神经网络OmniAnomaly, MSCRED;

为了解决重训练计算开销大的问题，我们使用映射函数M_z和M_x分别把老模型输出的隐藏状态和重构数据映射为当前分布的隐藏状态估计值与新观测数据，并数学证明了映射函数令映射误差最小的最优形式为线性，极大降低了重训练开销。更进一步，我们根据M_z 与M_x的形式，提出一种相应的损失函数设计范式，可以保证重训练问题是一个凸问题，具有唯一全局最优解，从而保证较快的收敛速率，降低重训练计算开销，避免陷入过拟合。论文作者：陈飞佚，秦臻，周孟初，张颖莹，邓水光，范伦挺，庞观松，文青松。

在时间序列中最常见的基于扰动的方法通常通过基线、生成模型或使数据无信息的特征来修改数据，但这些扰动的非显著区域并不总是无意义的并且存在不在数据分布内的样本，导致解释模型存在偏差，如图二所示。如图1所示，学者们经常处理复杂的视觉、文本、图结构数据通过选择最显著的因子，但是对解释时间序列模型的方法的研究仍然是一个未充分探索的前沿。图二：在阐述不同风格的扰动时，图示中的红线代表属于两个类别中类别1的一个样本，而深色背景表示显著特征，其他部分则为非显著特征。图一：基于显著图的解释在视觉、图数据、游戏场景的应用。