图提示在图学习模型中的应用:近期进展与未来方向

多视角聚类学习(一)An overview of recent multi-view clustering An overview of recent multi-view clustering1.Introduction2.Recent multi-view clustering algorithms2.1Graph-based model2.2.1AMLG2.2Space-learning-based model2.3Binary-code-learning-based model3.Current challenges and future directions4.Conclusion and future 阅读详情

img

图学习模型在从大规模图数据中学习表达性表示方面展现了强大的能力,并在各种真实世界的应用场景中取得了显著成效。作为一种训练强大图学习模型的常见策略,"预训练、适应"方案首先以自监督方式在未标注的图数据上预训练图学习模型,然后将其适应于特定的下游任务。在适应阶段,图提示作为一种有前景的方法应运而生,它在保持预训练图学习模型不变的情况下,学习可训练的提示。在本文中,我们对图提示的最新进展进行了系统综述。首先,我们介绍了作为图提示基础步骤的代表性图预训练方法。接下来,我们回顾了图提示中的主流技术,并详细阐述了它们如何为图提示设计可学习的提示。进一步地,我们总结了图提示在不同领域的实际应用。最后,我们讨论了现有研究中的若干开放性挑战,并展望了该领域未来的有前景的研究方向。

img

1 引言

图在许多真实世界场景中非常常见,例如生物信息学[111]、交通网络[75]和医疗保健系统[11]。为了从海量的图数据中获得深刻的洞察,近年来开发了许多图学习模型,如图神经网络(GNNs)[19, 47, 80, 94, 103]和图变换器(Graph Transformers)[29, 77, 127],这些模型在不同的图相关下游任务中展现出了强大的能力,包括节点分类[62, 135]、链接预测[34, 141]和图分类[54, 149]。传统上,图学习模型是通过监督学习进行训练的。然而,监督学习方式严重依赖足够的标注图数据,而在实际应用中,标注数据可能并不可得。此外,即使在相同的图数据上,训练出的图学习模型也可能无法很好地泛化到其他下游任务。这两个关键限制因素阻碍了图学习模型在实际中的进一步应用。

为了克服上述限制,近年来许多研究致力于设计有效的预训练框架,用于在不依赖下游任务标注信息的情况下训练强大的图学习模型[23, 24, 30, 95, 106, 107, 109, 118]。图预训练的理念是通过自监督学习,先预训练图学习模型,学习到图数据的表达性图表示。通常,这些图表示能够嵌入图数据中的可迁移知识,并且可以用于下游任务。然而,预训练和下游任务之间存在不可避免的目标差距。例如,一个图学习模型可以通过链接预测进行预训练,之后将其适应于节点分类作为下游任务。在此示例中,预训练时我们更关注节点对之间的关系,用于链接预测,而作为下游任务的节点分类则更关注每个单独节点的表示。因此,预训练图学习模型学到的图表示可能会对下游任务产生不利影响。

为了弥合目标差距,“预训练、提示”方案已被许多图学习研究广泛采用[9, 12, 59, 84, 86, 124]。受到自然语言处理[44, 138]和计算机视觉[35, 116]中最近提示调优方法的启发,图提示通过学习额外的提示向量来适应预训练的图学习模型,同时保持预训练的图学习模型冻结。图1展示了“预训练、提示”方案的工作流程。与微调[31, 136]相比,图提示仅需更新更少的参数,使其更适合少样本设置。此外,图提示更具灵活性,因为可学习的图提示可以在不同层级为下游任务设计。这些优势使图提示成为图学习领域一个有前景的话题,鼓励学术界和工业界的研究人员和从业者进一步探索其技术。

在本综述中,我们提供了关于图提示现有文献的全面且最新的介绍。具体来说,首先我们介绍了作为图提示基础阶段的代表性图预训练方法。接下来,我们对现有的图提示技术进行了有条理的总结。与之前的综述论文[61, 87]相比,我们提出了一种从图数据、节点表示和下游任务三个角度出发的图提示方法的新分类法。我们进一步展示了图提示技术在各种实际领域中的重要应用。最后,我们讨论了现有研究中的挑战和未解之谜,旨在鼓励该领域的进一步发展。我们总结了本综述的主要贡献如下:

  • 新分类法:本综述提供了一个新颖的现有图预训练和图提示方法的分类法,如图2所示。
  • 最新技术:与之前的图提示综述论文相比,本综述包含并介绍了更为近期的图提示技术。
  • 新方向:基于现有技术,我们从不同角度提供了图提示未来发展的见解。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

提示学习(Prompt Learning) 提示学习、自然语言处理、人工智能、机器学习、模型微调、文本生成、语言模型 1. 背景介绍 在人工智能领域,自然语言处理(NLP)一直是研究的热点之一。随着深度学习技术的快速发展,基于 Transformer 架构的语言模型,例如 GPT-3、BERT 和 LaMDA 等,取得了令人瞩 阅读详情

相关推荐

视觉提示学习(Prompt Learning):CV领域的GPT时刻?

视觉提示学习(Prompt Learning):CV领域的GPT时刻? ,人工智能,计算机视觉,大模型,AI,在人工智能技术不断演进的今天,计算机视觉(Computer Vision,CV)作为人工智能领域的重要分支,始终致力于让机器 “看懂” 世界。从早期基于传统特征工程的图像识别方法,到深度学习时代卷积神经网络(Convolutional Neural Networks,CNN)的崛起,CV 领域经历了多次重大变革。

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 4万+

AI大模型-提示工程学习笔记21-图提示 (Graph Prompting)

是一种利用图结构数据(Graph-Structured Data)来增强大语言模型 (LLM) 在处理需要图推理的任务中性能的提示技术。与传统的基于文本的提示不同,Graph Prompting 将知识表示为图的形式,其中节点(Nodes)表示实体,边(Edges)表示实体之间的关系。通过将图结构数据融入到提示中,LLM 可以更好地理解实体之间的复杂关系,从而提高推理能力和生成内容的准确性。Graph Prompting 通过将知识表示为图的形式,弥补了传统提示的不足。

Arthur Guo 的专栏 2160

告别PlatformIO!用Arduino IDE搞定ESP32上的micro-ROS 2.0.5(Humble版)

本文详细介绍了如何从PlatformIO迁移到Arduino IDE以支持ESP32上的micro-ROS 2.0.5(Humble版)。内容涵盖环境配置、项目转换、常见问题解决及高级优化技巧,帮助开发者顺利过渡并充分利用Arduino IDE的官方支持优势。

weixin_33709590的博客 378

图少样本学习综述:从元学习到预训练和提示学习

图表示学习作为图任务中的关键技术而发展迅速。早期的图表示学习方法通常基于端到端的训练设置,其效果高度依赖于大量的标注数据。然而现实世界中的标注数据往往难以获得,这促使了图少样本学习的出现,用于解决只有少量可用标注数据的图任务。本综述总结分类了现有的图少样本学习文献,对比了不同方法,并指出了该领域未来的研究方向。具体地,我们从以下两个类别探讨了相关研究:1)

m0_59235245的博客 1280

思科—OSPF多区域配置实验

实验目的:配置OSPF多区域,使得不同网段的PC互相ping通。 网络拓扑如下: R0的配置 Router>en Router#conf t Router(config)#int g0/1 Router(config-if)#ip add 192.168.1.1 255.255.255.0 Router(config-if)#no shut Router(config-if)#exit Router(config)#int g0/0 Router(config-if)#ip add 192.168.

m0_46237205的博客 1万+

ISO26262 功能安全各个阶段测试要求

1. 开发过程说明 系统层面:包括软硬件集成测试、系统集成测试以及整车测试。 硬件层面:包括硬件集成与测试。 软件层面:单元测试、集成测试。 2. 功能安全总体要求 2.1 各项指标 2.2 诊断覆盖度举例 针对一个信号举例说明: 3. 功能安全测试要求 3.1 测试计划 核心内容应包括, 测试对象:需要测试的对象描述,以及测试的范围描...

AgingMoon的博客 1万+

图提示在图学习模型中的革命性应用:最新进展与未来趋势分析!

本文综述了图提示技术的最新进展,系统介绍了图预训练方法和提示调优策略。首先阐释了基于自监督学习的图预训练作为基础步骤,继而从图数据、节点表示和下游任务三个维度提出新的分类法,梳理了现有图提示技术。研究展示了该方法在生物信息学、交通网络等领域的应用优势,相比微调具有参数量少、灵活性高等特点。最后探讨了当前挑战和未来方向,包括提示设计优化、跨领域迁移等关键问题。文章为图学习领域提供了从理论到应用的技术路线参考。

2401_84204413的博客 637

数字后端零基础入门系列 | Innovus零基础LAB学习Day7

数字后端零基础入门系列 | Innovus零基础LAB学习Day7

weixin_37584728的博客 2276

【LoRA最新进展】《基础模型的低秩适应》综述:关键技术与应用全解析

—基础模型的快速发展——在多样化、广泛的数据集上训练的大规模神经网络——已经彻底改变了人工智能,推动了自然语言处理、计算机视觉和科学发现等领域的前所未有的进展。然而,这些模型庞大的参数量,往往达到数十亿甚至数万亿,给将其适应于特定下游任务带来了显著挑战。低秩适应(LoRA)作为一种非常有前景的方法,已成为缓解这些挑战的有效手段,提供了一种参数高效的机制,能够以最小的计算开销微调基础模型。

m0_63171455的博客 1040

电容式麦克风:从原理到实际电路波形解析

本文深入解析电容式麦克风的工作原理,从核心的振膜与背板结构、电荷锁定机制到场效应管放大器的作用。通过实物拆解与等效电路分析,阐明声音振动如何转换为电压信号,并指导如何用示波器实测波形,直观展现声电转换过程,适合电子爱好者和音频技术学习者。

Black的专栏 1087

从官方例程到实战:AXI Memory Mapped To PCIe 核在FPGA-RC模式下的配置与调试全解析

本文详细解析了AXI Memory Mapped To PCIe核在FPGA-RC模式下的配置与调试方法。从IP核基础结构到实战参数设置,再到例程代码剖析和调试技巧,全面覆盖了AXI与PCIe协议转换的关键技术点,帮助开发者高效实现FPGA与PCIe设备的高速数据交互。

weixin_42550597的博客 270

会议交流|大模型与图学习等知识图谱相关技术实践探索

2021年,在疫情隔离和复杂国际形势的背景下,我们越发认识到重视核心基础技术,对保持国家独立自主发展的关键价值,互联网和科技行业也面临着新的挑战和变革机遇,新的AI技术正发挥越来越大的作用...

开放知识图谱 782

Ubuntu22.04下,用Fast-LIVO2+3DGS重建桌面小物件:从点云到高清模型的保姆级避坑实录

本文详细介绍了在Ubuntu22.04环境下,使用Fast-LIVO2与3DGS技术进行桌面小物件三维重建的完整流程。从环境配置、数据采集到点云-图像对齐和3DGS训练,提供了针对小物件优化的参数设置和避坑指南,帮助用户实现媲美商业扫描仪的高清模型重建效果。

weixin_30897233的博客 400

图上的不均衡数据怎么处理?新加坡国立大学最新不均衡图学习综述

点击上方“小白学视觉”,选择加"星标"或“置顶”重磅干货,第一时间送达来源丨专知编辑丨极市平台极市导读不均衡图学习主要研究在有不均衡图数据输入的条件下保障图学习模型的有效性能。针对于这一焦点问题目前还尚缺乏全面性的研究综述。来自于新加坡国立大学的学者发布了《不均衡图学习》综述论文对现有研究进展进行了全面性梳理和总结。A Survey of Imbalanced Learning on Grap...

小白学视觉 316

R语言实战应用精讲50篇(二)-多重线性回归系列之稳健回归

前言 线性回归的参数估计主要采用的是最小二乘法(又称最小平方法),该法是将使观测值与模型预测值之差的平方达到最小的值作为参数估计值。如果数据存在异常点或者异方差,最小二乘法估计会存在偏差,常用的处理策略就是改用稳健回归(Robust Regression)。 稳健回归就是采用更为稳健的参数估计方法来拟合模型,所谓稳健就是数据的波动对参数估计影响不大,比如不受异常值影响,或删除某一观测后对结果影响不大。稳健估计的方法有很多,主要有这么几类:最小绝对值回归(也称最小一乘法回归,lAV),最小中位数二乘法(L

wenyusuran的专栏 3161

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

【大图模型】图智能 + 大模型

蚂蚁「大图模型」研究,为图智能迈向AGI铺了一条新通途

图挖掘领域,新晋砖家 ☞ 未来可期,欢迎和静静一起学习交流吖 1190

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

如何让机器获得幽默感——Google图学习技术揭秘

原文: Graph-powered Machine Learning at Google 作者: Sujith Ravi 译者: KK4SBB 责编:何永灿,关注人工智能,投稿请联系heyc@youkuaiyun.com或微信号289416419 近些年来,机器学习技术取得了巨大的进步,使得计算机系统能够解决复杂的现实问题。其中一项先进技术就是由Google研究院的Expander组开发的大...

优快云 人工智能 491

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

Graph + AI Agents:最新技术进展与融合趋势综述

最近出了一篇关于图(Graphs)与人工智能代理(AI Agents)结合的综述性研究,提出了一个分类框架来组织这一领域的研究进展,详细讨论了图技术在AI代理的规划、执行、记忆和多代理协调等核心功能中的作用。

2401_85373691的博客 1143

KDD 2024 | 图机器学习新纪元:大模型的创新与突破

点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入!点击阅读原文观看作者汤嘉斌直播讲解回放!在即将到来的 KDD 2024 盛会上,由香港大学数据智能实验室的黄超教授指导的研究团队,将深度剖析大型模型推进下图机器学习领域面临的根本性挑战。随着图数据应用场景的复杂性日益加剧,图机器学习正在应对一系列挑战,这包括但不限于提升模型的泛化力、强化其鲁棒性,以及对复杂图结构数据的深度解析。论文标题:A...

AITIME_HY的博客 1133

WAIC 2024 报名 | “未知边界”大模型探索未来——大模型青年说论坛

点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入!中国 ·上海WAIC 2024“未知边界”大模型探索未来——大模型青年说论坛2024年7月6日14:00 上海世博中心随着人工智能技术的快速发展,大模型已经成为引领科技进步和产业变革的重要驱动力。大模型不仅在自然语言处理、图像生成等领域展现出强大的能力,还在医疗、金融、制造等行业中发挥着越来越重要的作用。然而,大模型的潜力尚未完全发掘,其在...

AITIME_HY的博客 1144

图数据增广(Graph Data Augmentation)近期进展

本文旨在简要总结近期在 graph 领域新提出的数据增广方法,带领读者了解图数据增广的基本定义和最新进展。1 简介 近年来,以数据为驱动的推理在数据增广技术的引进后,泛化能力和模型性能方面得到了显着提升。数据增广技术通过创建现有数据的合理变体而无需额外的真实标签来增加训练数据量,并且已在计算机视觉 (CV) 和自然语言处理 (NLP)得到广泛应用。 而随着图神经网络等图机器学习方法的快速发展,...

fengdu78的博客 2799

技术动态 | 蚂蚁「大图模型」研究,为图智能迈向AGI铺了一条新通途

转载公众号 | 机器之心在 AI 新时代,图与大型语言模型能擦出什么火花?这是一个值得「深挖」的重要课题。2021 年 3 月,知名 IT 咨询公司 Gartner 在《2021 年十大数据和分析技术趋势》报告中表示,图技术已经成为很多现代数据和分析能力的基础,并预测到 2025 年,图技术将应用于 80% 的数据和分析创新。同时,2021-2023 世界人工智能大会连续三年举办了图技术相关分论坛...

开放知识图谱 374

《图持续学习》综述

来源:专知 本文约3000字,建议阅读5分钟 图持续学习新综述。图数据上的持续学习近期吸引了极大的关注,其目标是解决在现有任务上的灾难性遗忘问题,同时使序列更新的模型适应新出现的图任务。尽管已有努力总结了在欧几里得数据(例如,图像和文本)上持续学习研究的进展,但对于图上的持续学习,也就是所谓的持续图学习(CGL)或终身图学习,系统性的综述仍然是迫切需要的。图数据在数据结构和应用场景上的复杂性远远超...

数据派THU 1046

KDD 2024 | 如何在图A上预训练,在图B上直接推理?大模型帮助图领域的零样本学习挑战...

人类面对新问题时,往往会将其与已知的知识联系起来。这一观念同样适用于机器学习(ML)。传统的 ML 方法多关注在训练过程中已见过的类别。然而,现实应用往往要求对未曾见过的类别进行分类,这就需要模型利用已有的知识进行推理和解决问题。例如,一个训练于动物图像的模型虽然未曾见过“斑马”,但通过理解“条纹”与“马”的概念,它仍能成功识别斑马。在 AI 领域,特别是随着大型语言模型(LLMs)如 GPT-...

Paper weekly 853

从BERT到ChatGPT,9大顶尖机构发布:那些年一起追过的「预训练基础模型」

编|LRS源|新智元2023年了,还有人从头开始训模型吗?追踪一下从Bert以来的那些预训练模型。ChatGPT在few-shot和zero-shot场景下展现出的惊人性能,让研究人员们更坚定「预训练」是一条正确的路线。预训练基础模型(Pretrained Foundation Models, PFM)被认为是不同数据模式下各种下游任务的基础,即基于大规模数据,对 BERT、 GPT-3、 MAE...

夕小瑶科技说 469
上一篇: Graph-RAG全面综述:如何用知识图谱+大模型解决信息检索难题?
下一篇: 颠覆传统奖励验证!抛弃第三方打分,大模型自证式推理训练法
Python_金钱豹
博客等级 码龄5年 1万+粉丝 2840原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值