2024年大模型LLM还有哪些可研究的方向?听听大佬怎么说

【论文精读】Diffusion Transformer(DiT) Diffusion Transformer(DiT) 阅读详情

问:

2024年大模型LLM还有哪些可研究的方向?

答:

前言

纯属brainstorm,欢迎大家一起探讨。想到哪里说到哪里,有遗漏的点欢迎大家在评论区中指出。

个人认为现在LLM能做的点还很多,这个行业距离饱和还有一段距离。这里通过“输入、模型/范式、输出、其他”几个方面来展开,个人觉得比较看好的方向加粗标出:

  • 输入

    • 数据优化
    • RAG
  • 模型/范式

    • LLM + Robotics-Agent-统一模态生成-Vision-Language Models-架构设计
  • 输出

  • 生成内容安全问题

  • 评测问题

  • 其他

  • NLP经典任务

  • 垂类大模型

  • 交叉学科

输入

这一节就跟pre-training、instruction tuning、RLHF的经典三阶段比较相关了,其实也可以叫数据,而数据的重要性自然不用多说。

数据优化

目前的工作基本都是**“大规模语料 + 人工高质量数据集”** 的方式进行暴力求解,在输入上通过设计进行优化还是有一定可行之处的。

其实CV这边还是有很多类似做法可以参考的,尤其是做diffusion models的,同样也是做生成,有很多方面有一定共通之处。比方说最经典的Stable Diffusion,从最早的v1.4到v2.0,再到v2.1,也是通过在256×256、512×512、768×768分辨率上递进式的fine-tune完成的。

迁移到LLM这一块,对于pre-training的时候语料的处理,可以做ranking,包括fine-tune的时候做continual learning、active learning等等,理论上可做的事以及相应的效果应该也是相近的。

关于data augmentation方面,之前看过一篇在LLM训练过程中往intermediate feature加高斯噪声的工作,证明了能够带来性能提升。结论其实是比较有趣的,往intermediate feature加入噪声的做法可以理解为一种latent space上的data augmentation但如此简单的做法恰好证明了其有效性,说明在数据增强这一块可做的设计还有很多。

在这里插入图片描述

RAG

RAG这一块属于是去年比较火的一个点了,尤其是针对大模型“幻觉”的这个痛点,个人认为还可以做,但属于比较卷的方向,今年的研究应该会有数量上的骤增。可以看下RAG的近几年的文章情况:

在这里插入图片描述

可以看到,2023年RAG的工作已经出现了明显的大幅增加,而大多数还是集中在做推理,也就是说,预训练和微调还有研究空间。可以参考下图汇总目前RAG的研究范式展开:

在这里插入图片描述
另一方面可以考虑的是模态信息上的拓展。目前看来做Vision-Language Models(VLM)已经是一个必然趋势了,而RAG方法主要用于检索文本证据,检索其他模态信息来增强生成还是有研究空间的。

模型/范式

“模型/范式”这一方面是个人比较看好的方向。 目前AI巨头的动作也集中于这一块,预计2024年这一块可研究的方向比较多,当然估计也会快速地卷起来。

LLM + Robotics

前段时间OpenAI发布了Figure 01,虽然说热度可能没有Sora那么高,不过说明LLM在做planning这件事上已经有了初步的成果,想必这件事情的公布势必会带动很多的相关研究。

Agent

Figure 01的意义其实不仅限于robotics,其实也证明了agent的想法确实可行,agent势必会成为今年的一大热点。其实早在去年,各大厂商都纷纷开始入场agent了.

学术界也不例外,这里举一些比较经典的例子:比方说早期的HuggingGPT,出自《HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in Hugging Face》

在这里插入图片描述

ToolFormer,出自《Toolformer: Language Models Can Teach Themselves to Use Tools》,https://arxiv.org/pdf/2302.04761.pdf。

在这里插入图片描述
尤其是去年Stanford的西部小镇,出自《Generative Agents: Interactive Simulacra of Human Behavior》,https://arxiv.org/pdf/2304.03442.pdf,给人的印象非常深刻:
在这里插入图片描述

统一模态生成信息

这一点其实是长久以来CV和NLP研究者关注的问题, 也就是多模态大一统的问题。而在生成这个角度上其实已经有一些统一范式了,无论是Diffusion-Based还是LLM-Based。而LLM-Based的解决方案中,真正的难点在于如何通过token这个概念表征其他模态的数据。

目前统一文本、图像模态的工作已经有很多,解决方案也很自然,采用VQ-VAE系列的压缩模型将图像表征为image token,LLM只需要学会怎么预测image token即可。而下一步的生成面向的必然是视频和3D。如果能解决好video和3D的token representation问题,那么统一模态生成就能进一步拓展,这其中还是有较大难度的,非常值得深挖。另外结合我个人非常有感触的一张图,也同样能说明这个问题:
在这里插入图片描述

Vision-Language Models

对于VLM来说,图像相关的工作已经日趋饱和了,类似MiniGPT-4、LLaVA、mPlug-owl、CogVLM的经典工作已经有不少了,大多采用“Visual Encoder + LLM”的桥接形式,例如最经典的MiniGPT-4:

在这里插入图片描述
而前面说到,视频和3D必定是下一波热点的研究方向。将LLM与更多的模态信息“桥接”,肯定是可以做的,不过这样的idea也很容易想到,个人认为VLM应该会非常卷。加上还要面对OpenAI这个大魔王,应该会有一定的研究压力。

另外一个比较值得研究的问题是:跨模态信息对齐之后能做什么?其实去年一些工作已经证明,LLM除了常见的Visual QA、captioning这些任务,也能一定程度完成vision-oriented的任务,例如有些研究会用VLM在object detection上做验证,以此体现VLM的visual understanding能力,这其实说明LLM的应用并不局限于text-oriented的下游任务。

架构设计

架构设计方面,其实近段时间的一些工作动向也证明了目前LLM在架构设计上还有较大创新空间。比方说去年比较惊艳的Mistral-7b,包括前不久马斯克宣布开源的Grok-1等等,基本都采用MoE的架构在做,个人觉得这其实是一个比较好的开始。LLM的模型架构自2022年以来就雷打不动,绝大部分研究都在沿用前人的默认设定,而对于这些默认设定上存在的问题,绝对是有研究可做的。

其实反观diffusion models的发展也类似,从2020年DDPM推出以来,4年时间绝大部分的研究都在沿用U-Net的默认架构,今年的Sora,包括Stable Diffusion 3中首次不约而同用到了Diffusion Transformer,证明了模型架构上确实是有值得创新之处。类比到LLM上也同理。

另一方面,Scaling Law肯定是一个值得研究的方向。 类似的还有关于LLM的可解释性,目前LLM大部分研究都是靠数据和算力的堆积来暴力求解,如果能够摸索出一定的理论依据,对于工业界或者是学术界来说都会是非常难得的研究。类似的方向还有LLM幻觉问题上的相关研究。

输出

生成内容安全问题

生成内容的安全问题其实也在逐渐受到近期研究的关注了,比方说LLaMa 2中就有特别关注这个问题。其实生成内容的安全问题涉及很多其他的应用,比方说垂类应用。无论是金融、法律、医疗,这些特定领域在内容安全性上都会比general domain的要求要更高。能给出安全性问题的一定解决方案,对于整个社区来说肯定是有贡献的。

具体解决安全问题其实跟前面提到的几个点有一定交叉,例如从数据层面上做优化、微调阶段做优化、RAG,等等,这里就不再展开了。

评测问题

个人认为evaluation其实是LLM研究中最值得研究的一个点,但是同时也是很难的一点。无论是现在的打榜、human evaluation、GPT打分,其实都很难全面去评价LLM,导致LLM在实际应用过程中并没有指标体现出来的那样好用。

而如果能有一个自动化的评测指标,最好能够结合LLM的理论基础进行设计,我觉得是目前社区比较需要的一个方向。 当然,前面也说到,LLM的可解释性也是一个待解决的问题,相关指标的设计也同样具有挑战。

其他

NLP经典任务

这可能是一个比较小众的点。其实也是个人一直在思考的一个问题,LLM时代下究竟怎么样做NLP的经典任务? 比方说parsing、句法相关的任务,LLM的设计跟这些任务之间肯定是存在一些gap的,而怎样将language models在大规模数据上获得的能力迁移在这些经典任务上,其实相关的工作仍比较少。

垂类大模型

无论是工业界还是学术界,垂类大模型一直以来都是研究热点之一。垂类大模型中与前面说到的数据优化、内容安全、评测问题都高度耦合。对于不同的垂直领域,垂类大模型面临的最大问题还是domain gap。具体来说就包括很多方面了,例如特定领域数据上的问题,通常具有领域特性,但数据量有限;内容安全上,比方说金融、法律、医疗大模型,对安全性的需求都比通用大模型要高;评测问题,就拿医疗大模型举例,还需要跟专业的医疗知识结合才能有效评测,等等;技术上还涉及LLM fine-tuning、domain adaptation,等等,甚至一些领域对于context length、memory、continual learning、active learning等技术有特定需求。可做的点还是比较丰富的。

交叉学科

这点其实也是比较有“学术味道”的一类研究,文章工作本身更倾向于分析类而并非实验。通常将LLM与其他学科交叉进行分析,例如语言学、政治学、社会学、心理学,等等。这类分析文章实验代价通常相对较小,更侧重统计、可视化、消融实验等分析性质的实验,但同时也需要掌握相关学科的专业知识,有一定的门槛。

比较有代表性的工作在ACL 2023的best paper就有,例如《Do Androids Laugh at Electric Sheep? Humor “Understanding” Benchmarks from The New Yorker Caption Contest》,https://aclanthology.org/2023.acl-long.41.pdf.研究LLM是否能理解幽默:

在这里插入图片描述

ACL 2023 best paper的另一篇则是对LLM的政治偏见进行研究,出自《From Pretraining Data to Language Models to Downstream Tasks: Tracking the Trails of Political Biases Leading to Unfair NLP Models》,虽然小众但是还挺有意思的:

在这里插入图片描述
值得一提的是,ACL 2023 best paper剩下一篇文章是对Stable Diffusion Cross-Attenion机制的研究。 包括Stanford西部小镇 《Generative Agents: Interactive Simulacra of Human Behavior》,pdf中也有关于AI agents交互与社会传播学的研究,例如下图中就是关于特定任务的一个case study:

在这里插入图片描述

​

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

Diffusion Transformer(DiT) 摘要 Diffusion Transformer(DiT)是一种将Transformer作为主干网络的扩散模型,其核心思想是在潜在扩散框架下,用Transformer替换传统的U-Net结构。DiT首先将带噪声的潜在变量切分为patch token,再通过Transformer进行去噪预测。相较于U-Net,Transformer具有更强的全局建模能力和可扩展性,而潜在空间的使用则降低了计算成本。DiT保留了扩散模型的基本流程(前向扩散与反向去噪),仅改变去噪网络架构,实现了更高效的图像生成。实验表明,Di 阅读详情

相关推荐

Sora核心之一:当Diffusion遇到Transformer,DiT的前世今生

Diffusion与Tranformer结合的代表性文章

pku_langzi的博客 5097

DiT(Diffusion Transformer)详解

DiT(Diffusion Transformer)是 William Peebles 和 Stefano Ermon 于 2022 年提出的纯 Transformer 架构扩散模型,其核心突破在于:架构革新:用纯 Transformer 完全替代传统扩散模型中的 U-Net 卷积主干Scaling 验证:首次证明扩散模型遵循 Transformer 的 scaling law —— 参数量/计算量增大 → 生成质量稳步提升。

weixin_42148389的博客 1354

自动驾驶仿真(五)—— 基于Carsim、Prescan、Simulink的联合仿真

自动驾驶仿真五——基于Carsim、Prescan、Simulink的联合仿真1. 联合仿真流程2. CarSim联合仿真配置要点3. Prescan联合仿真配置要点4. Carsim、Prescan、Simulink联合仿真结果5. 参考学习的书目教材 博主前面的博文已经介绍了Carsim和Prescan各自与Matlab/Simulink的相关联合仿真应用实例,并且论述过几款软件各自的优势及用法,CarSim适合动力学模型的建立,PreScan适合行车场景的搭建,Simulink适合控制算法的设计及信号

zhudj08的博客 1万+

一文带你搞懂DiT(Diffusion Transformer)

扩散模型的核心思想:Diffusion Models是一种受到非平衡热力学启发的生成模型,其核心思想是通过模拟扩散过程来逐步添加噪声到数据中,并随后学习反转这个过程以从噪声中构建出所需的数据样本。

2401_84033492的博客 5万+

AI驱动的数据完整性:ECC到S/4HANA迁移

在SAP ECC到S/4HANA的迁移过程中,数据完整性验证是最复杂且关键的挑战之一。本文介绍了一个全面的AI驱动的端到端数据完整性框架,用于对账事务数据并验证数百万条主数据记录和事务记录的完整性。该框架结合了模式映射、自然语言提示到SQL生成、基于LLM的解决方案、大规模数据对账的数据完整性工具、基于云的测试数据管理以及实时Power BI仪表板,为开发者提供了一个可重复、可扩展的工作流程,确保ERP迁移过程中的数据质量。

简简单单Onlinezuozuo 1177

CNN卷积神经网络手写数字识别实例及代码详解

本文的代码来自githup的Deep Learning的toolbox,是用Matlab实现的。感谢该toolbox的作者付出和分享。 我在应该该代码进行训练时,出现一些报错,如expand函数应用不对,flipall函数未定义等问题,对这些问题进行了修正,完成网络训练和验证。 本文mnist_uint8.mat的获取可以参照我的另一篇博客:MNIST数据库处理--matlab生成mnist_

VivienFu的专栏 6万+

DiT:Transformers 与扩散模型强强联手

DiT:Transformers 与扩散模型强强联手

ZILLIZ 5880

别再死记硬背公式了!用Unity ShaderGraph从零实现一个皮肤SSS效果(附完整节点图)

本文详细介绍了如何利用Unity ShaderGraph零代码实现皮肤次表面散射(SSS)效果,包括背光透射(BTDF)和表面散射(BSSRDF)的核心原理与节点构建方法。通过可视化工具,技术美术师和Shader初学者可以直观理解光线在皮肤组织中的散射行为,快速创建真实的皮肤材质效果,适用于游戏角色渲染等场景。

weixin_30838873的博客 595

sora笔记(三):diffusion transformer模型的发展历程

::info💡 在一文中介绍了目前未开源的sora模型可能涉及到的技术点,包括介绍了Vision Transformer,作为transformer正式用于图像的一种范式,为本文中将提到的内容打下基础,同时一文对diffusion model的数学原理推导,也为后来模型的演化提供更加完整的认识。而本文将要介绍的是后来的ViViT与DiT两种模型架构,并对其进行了更进一步的源码分析。

submarineas的博客 3601

snipersim安装

snipersim安装记录,便于后续使用tip:snipersim需要在python2的环境下编译。

weixin_53507617的博客 918

向华为学习——解读158页 华为敏捷园区网技术解决方案【附全文阅读】

华为敏捷园区网解决方案通过策略随行和体验随身技术,满足移动办公场景下的网络需求。该方案采用敏捷交换机和防火墙自动执行策略配置,实现用户身份认证与业务策略的无缝衔接,且策略配置与IP地址解耦,简化了管理流程。相比传统技术,该方案有效解决了用户分级、QoS保障、无线接入等关键问题,确保用户在移动过程中获得一致的网络体验。

cdfunlove的博客 381

51c大模型~合集111

OpenAI 的某发言人表示:「为了提高清晰度和安全性,我们增加了一个额外的后处理步骤,其中模型会审查原始的思维链,删除任何不安全的内容,然后简化某些复杂的思维。可以看到,虽然 ChatGPT 确实完成了任务并展示了总结版的思维链,但似乎并未如 OpenAI 发言人说的那样给出与提示词语言同样语言的总结版。北大-灵初联合实验室表示,Align-DS-V的多模态强推理能力是VLA模型大脑端的核心,接下来的研究训练计划,是利用多模态推理模型的跨模态穿透能力,实现action穿透,最终实现真正高效的VLA模型。

whaosoft~aiotの开发板商城 2320

YOLOv8/v9 遥感图像目标检测实战指南:建筑物检测与变化监测

遥感图像在城市规划、灾害评估、农业监管等领域应用广泛,但传统目标检测方法存在效率低、精度不足、难以适配遥感图像大尺寸、多尺度目标等问题。本文以“建筑物检测与变化监测”为核心,基于DOTA、NWPU VHR-10等公开数据集,系统讲解YOLOv8/v9在遥感图像中的实战流程。从数据获取、格式转换、模型训练优化,到大图切片推理、建筑物变化监测,全程提供可复现的代码与参数配置。通过针对性优化(旋转增强、切片推理等),模型在NWPU VHR-10数据集上mAP50达0.85以上,可适配卫星影像、无人机航拍等多场景

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 522

(2023|ICCV,DiT,扩散 transformer,Gflops)使用 Transformer 的可扩展扩散模型

本文提出 DiT:训练 LDM,将 U-Net 骨干替换为在潜在 patch 上操作的 Transformer。本文通过前向传播复杂度的角度分析 DiT 的可扩展性,该复杂度由 Gflops 衡量。

qq_44681809的博客 3571

QT-Creator安装教程(windows)

本文介绍了Qt的下载安装步骤:1)通过镜像源下载安装包;2)运行exe文件时使用命令行参数指定镜像地址;3)在安装过程中选择路径和自定义安装组件,包含QT5和QT6版本的详细安装说明;4)安装后可继续添加扩展包或卸载组件。重点提示了QT6必须勾选的关键组件,并提供了组件管理的操作方法。

qq_53545309的博客 3121

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

【AIGC】DiT:从理论到实践,一文深入浅出带你学习Diffusion Transformer

DiT模型使用Transformer作为其主干网络,替代了传统的U-Net架构。这些模型在Latent Space中训练,通过变换器处理潜在的图像块(patches)。其中,每个tokens在序列中都有一个隐藏维度d,即向量大小。

记录成长 3317

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

DiT(Diffusion Transformer)详解——AIGC时代的新宠儿

本文详细介绍DiT(Diffusion Transformer)了,DiT作为AIGC时代的新宠儿,将Transformer和Diffusion结合,在图像和视频生成

分享包括但不限于计算机基础知识、数据结构与算法、Golang技术栈。年与时驰,意与日去,遂成枯落,多不接世,悲守穷庐,将复何及! 1万+

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

diffusion transformer从数学到实践 (1)

在深入嵌入理论之前,首先需要理解流形的概念。在数学中,流形是一个可以局部近似于欧几里得空间的拓扑空间,这意味着每一点都有一个邻域,这个邻域与某个欧几里得空间中的开集同胚(即存在一一对应且连续的映射)。流形可以视为更复杂空间的简化模型,它允许我们使用欧几里得空间的直观和技术来研究更广泛的几何对象。

liangwqi的博客 1419

DataWhale公开课笔记2:Diffusion Model和Transformer Diffusion

datawhale学习笔记2

ove_z的博客 2163

Scalable Diffusion Models with Transformers

我们探索了一类新的基于Transformer结构的扩散模型。我们训练图像的潜在扩散模型,用一个对潜在补丁操作的Transformer取代常用的U-Net骨干网。我们通过Gflops测量的前向传递复杂性来分析扩散Transformer(dit)的可伸缩性。我们发现,具有较高gflop的dit(通过增加Transformer深度/宽度或增加输入令牌数量)始终具有较低的FID。

通街是密人有的博客 5768

Diffusion Transformers (DiTs) - 从U-Net到Transformer的生成模型进化之路

本文深入探讨了Diffusion Transformers (DiTs)如何通过Transformer架构革新传统U-Net在生成模型中的应用。DiTs解决了U-Net的计算效率、扩展性和跨领域适应性等痛点,展现出卓越的全局注意力机制和架构统一性。文章详细解析了DiTs的核心架构、性能优势及实践指南,为AI生成模型的发展提供了新方向。

ol789012的博客 180

【自然语言处理】Transformer 模型:概述及分类(综述)

在过去的数年里,基于 Transformer 的相关模型层出不穷。本文将对当下最流行的 Transformer 模型做一个简单全面的介绍。

Data · Model · Agent · Repeat 9864

Diffusion Transformers (DiTs) - 用Transformer革新Diffusion模型

这篇博客将为熟悉Diffusion模型和U-Net的读者详细解读DiTs的核心贡献、组成模块、数据流方向,以及它解决的问题和生成图像的过程。

阿正的梦工坊 3105

基于Transformer结构的扩散模型综述

近年来,计算机科学领域的生成式扩散模型迅猛发展,成为人工智能领域的热门研究方向。这一类模型,如GPT系列,以其强大的语言理解和生成能力,成功地应用于自然语言处理、文本生成、机器翻译等多个领域。扩散模型通常使用一个基于卷积的U-Net网络用于学习噪声并对噪声进行预测,近一年来,越来愈多的研究开始探索基于Transformer的噪声预测网络,本文主要介绍了近年来的一些经典工作。

张小殊的博客 5125
上一篇: 【AI开源项目】LangChain (一)3分钟让你知道什么是LangChain,以及LangChain的部署配置全流程
下一篇: 5分钟明白LangChain 的输出解析器和链
AI_小站
博客等级 码龄3年 6255粉丝 1156原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值