认识图计算和图数据库

图计算101:图计算的类型、语言与系统 本文是图计算 101 系列的第二篇文章,将繁杂的图计算任务根据其计算模式的特性进行分类,并对每一类的图计算任务进行简要的介绍。 背景 现实生活中的很多数据都可以建模成图(Graph)这一抽象的结构。这种高效紧凑的数据形式可以表示出拓扑、属性、时序等丰富的信息,而图计算的目标就是从图结构中挖掘出有价值的知识或规律,例如频繁模式、因果关系等。随着信息时代的到来,数据规模呈爆炸式增长,产生了对大规模的图数据进行高效处理的需求,图计算已经成为了工业界和学术界的热点话题,并因此诞生了一系列的图计算系统及优化研究工. 阅读详情

什么是图(Graph)

图(Graph)是一种非常直观表达事物及其关联关系的数据结构,基本元素是“点”和“边”,点表示一个事物,边就表示他们之间具有一定关系。

比如下面这张图,它的点有公司、员工、项目,边即他们之间的关系——公司和员工之间是雇佣关系、员工和员工之间可以有好友关系、项目和员工之间也可以有参与关系。也就是说我们可以用图的方式来把事物和它们的关系抽象出来。

这是一张结构比较简单的图。随着点和边不断增加,图数据越来越多越来越复杂,逐渐形成更丰富的网状结构。比如一些金融交易图,它的规模可能会非常大,超过10亿个点,有千亿甚至万亿边。可以想象,要真正处理这些图还是很有挑战的。

为什么需要图计算

把计算机想象成大脑,我们要解决两个关键问题:数据的存储和分析。

传统的数据存储采用关系型数据库,其结构是“表结构”(想象一下Excel表格)。比如一家银行的客户转账信息可能包含交易人员、交易金额、交易时间,记录在一张表格里。假如交易人A和B之间有直接转账关系,这种直接关系用关系型数据库是不难发现的。但对于非直接关系,关系型数据库就较难“穿透”多个点来发现了,即便可以处理,查询速度也可能非常慢。我们用信用卡套现来举例。

首先是简单的直接套现模式。如左侧图显示,一个人办了一张信用卡,他其实不是真的想去还款,他找了一个商店,这个商店提供一个非法的服务就是信用卡套现。那么他通过信用卡付款,把2020元钱转到这个商店。这个商店直接就把其中的2000元钱返回给付款人,就完成了一次套现。这样的一种套现是非常简单的,我们通过对这个个体,对这个商店的收款记录和付款记录做分析,就可以识别出套现行为。

但右边这张图就复杂了很多。我们可以看到,右上角的这个人,他还是通过信用卡付款,付了2020元钱给了商店。这个时候,商店没有直接把钱退给付款的人,而是由一个个人付了2000元钱给到一个第三人。这个个人和商店之间,我们可以通过一些分析发现,他实际上拥有这个商店,所以我们把这种关系叫做同人关系。就是店和人虽然看起来是不同的实体,但其实他们之间有一个非常强的关联。那么他付款给的第三人也不是最开始刷卡的人,而是刷卡人的一个亲友,店主付款到了刷卡人亲友的银行卡上。那这样的一个套现模式就比左边的复杂很多了。我们把这种模式叫做多跳闭环模式。

要分析这种多跳闭环模式,就需要找出复杂的关联关系,而不能只对这个个体进行分析。但是大家可能会说,你画的这张图很简单呀,我一眼就能看出来,这是一个闭环,这个坏人我很快就能抓住。

但实际生活中情况可能会更加复杂,有更多其它交易和关系,就没那么容易看出来了。如下图所示,右边这张图可能会有千亿条甚至万亿条边,怎么很快地在这个图上把环找出来,这就对整个分析技术——复杂的关联分析技术提出了非常高的要求,性能成为了关键。

什么时候要用图计算

随着数据量和深度的增加,如果我们用传统的关系数据库的方法去分析的话,那就可能非常非常慢,难以在有效的时间内计算出结果。而图计算技术直接将事物与其关系像制作地图一样定位存储下来,直接支撑对事物和关系的各种查询和计算——这与我们大脑对信息的处理模式很像,大脑本身也可以建模成一个图。由于提供了对关联数据最直接的表达,以及图模型对异构数据天然的包容力,可以很好的解决目前遇到的关联数据分析问题。

由此可见,关系型数据库的设计擅长回答“已知”的问题,而图数据库可以回答超出设想的“未知”问题。相较于关系型数据库,图数据库是真正注重“关系”的数据库。

我们刚才举的是金融方面的例子,但是图计算的用途远远不限于金融行业。在互联网、工业领域、医药、公共卫生、公共安全等领域都有很多的应用。如绘制用户社交关系图谱进行社交影响力排名、好友推荐;构建设备关系网络图谱实现物联网建模分析、供电网络建模分析等。

随着互联网和5G时代数据指数级增长,数据之间的关系越来越复杂,企业管理和分析数据面临更高难度。越来越多的企业管理者们开始关注以图为代表的技术来更智能地使用数据,Google、Facebook 等科技巨头也早就在通过图数据库的力量来支撑主要业务应用。

国际知名咨询公司Gartner,每年都会发布各种技术趋势的报告。在2021年的《十大数据分析技术趋势》报告中,Gartner提到了“Graph relates everything”。这是一个非常有趣的双关,即图连接万物,一方面表示了图的本质,就是把各种事物连起来,另一方面也表达了图会在数据分析的各个领域得到广泛应用。Gartner 预测到2025年,图技术在数据和分析创新中的占比将从2021年的10%上升到 80%。

(编者注:文中部分示例来自蚂蚁图计算技术负责人陈文光博士在2022极客公园创新大会上发表的演讲。)

图计算系统进展和展望 文 / 成杰峰,刘勤,李震国 本文为《程序员》原创文章,未经允许不得转载,更多精彩文章请订阅2017年《程序员》 挖掘大规模图数据能增强现有商业业务,甚至产生新的商业模式。然而,这些图数据的规模让图数据挖掘本身成为难题,这些突出的挑战都指向了发展具有高可扩展能力的大规模图计算处理的有效工具。本文先展开叙述图计算技术的几个核心层面,进而介绍华为诺亚方舟实验室的VENUS图计算系统,最后对... 阅读详情

相关推荐

字节跳动自研万亿级图数据库 & 图计算实践(1)

图数据库重点面对 OLTP 场景,以事务为核心,强调增删查改并重,并且一个查询往往只是涉及到图中的少量数据;而图计算与之不同,是解决大规模图数据处理的方法,面对 OLAP 场景,是对整个图做分析计算,下图(引用自 VLDB 2019 keynote 《Graph Processing: A Panaromic View and Some Open Problems》)描述了图计算和图数据库的一些领域区分。

2401_84149256的博客 1123

图计算(林子雨慕课课程)

图计算是专门针对图数据结构的处理许多大数据都是以大规模图或者网络的形式出现许多非图结构的大数据,也常常会被转换为图模型后进行分析图数据结构很好地表达了数据之间的关联性关联性计算是大数据计算的核心—通过获得数据的关联性,可以从噪音很多的海量数据中抽取有用的信息图的应用实例购物者之间进行建模,可以得到兴趣比较相似的用户,为用户实时推荐商品图结构计算可以发现传播关系中的意见领袖,如热门话题讨论传统的图计算算法存在的典型问题常常表现出比较差的内存访问局限性针对单个顶点的处理工作过少。

weixin_44911248的博客 1634

大数据架构师必知必会系列:图计算

随着互联网和移动互联网的快速发展,全球数据量呈爆炸式增长,数据之间的关联性也日益复杂。传统的数据库管理系统在处理海量、高关联数据时面临着巨大挑战,难以满足日益增长的数据分析和挖掘需求。在此背景下,图数据库和图计算技术应运而生,为处理复杂关联数据提供了一种全新的解决方案。图数据库以图论为基础,使用节点、边和属性来表示和存储数据之间的关系。相比于传统关系型数据库,图数据库能够更直观、高效地存储和查询关联数据,尤其适用于社交网络、推荐系统、知识图谱等领域。

AI天才研究院 1651

Pregel(图计算)技术原理

图计算简介 图结构数据: 许多大数据都是以大规模图或网络的形式呈现。 许多非图结构的大数据,也常常会被转换为图模型后进行分析。 图数据结构很好地表达了数据之间的关联性。 关联性计算是大数据计算的核心——通过获得数据的关联性,可以从噪音很多的海量数据中抽取有用的信息。 传统图计算解决方案的不足之处: 很多传统的图计算算法都存在以下几个典型问题: 常常表现出比较差的内存访问局部...

曹世宏的博客 4万+

图数据库 | 4、图数据库三大组件之一 ——图计算 (上)

在图数据库中有三大组件,笔者先从图计算开始。一般情况下,图计算可以等同于图数据库,毕竟图数据库最重要的工作就是图计算。然而,从图论以及数据库的发展历程来看,在相当长的一段时间内,图计算框架基本是独立发展的,而图数据库是近20年内才开始形成的。最早的图计算的内容是研究一些基于图论的算法,例如1959年发表的Dijkstra算法(一种在道路网络中寻找最短路径的算法)​。在图数据库的语境下,图计算关注的是如何高效地完成数据库的查询、计算、分析,以及对数据的动态调整。

Ultipa的博客 1776

[信号与系统]一阶与二阶连续时间系统和离散时间系统

定义:一阶连续时间系统由一阶线性常系数微分方程描述: dy(t)dt+ay(t)=bx(t) \frac{dy(t)}{dt} + a y(t) = b x(t) dtdy(t)​+ay(t)=bx(t)时间常数:时间常数 τ=1a\tau = \frac{1}{a}τ=a1​ 是系统响应速度的衡量指标。时间常数越小,系统响应越快。冲激响应:一阶系统的冲激响应是指数衰减或增长的形式。例如,对于一个单位冲激输入,响应为: h(t)=bae−at h(t) = \frac{b}{a} e^{-at} h(t)=

Andius的博客 2122

图数据库和图计算的区别,终于有人讲明白了

「小晨说数据」,带你学数据!导读:图数据库(图计算)应对的是当今一个宏观商业世界的大趋势,它凭借对海量、复杂、动态数据的挖掘、分析和关联而获得洞察力。事实上,虽然其本身还无法在短时间内完全替代那些已经被用户充分认识和使用的数据平台,但市场对该技术的需求不断激发着图数据库(图计算)的内生动力。本文将浅谈关联数据是怎样对过往技术提出挑战的,同时详细探讨图数据库和图计算之间的区别。 前所未有的能力如果...

huzechen的博客 1149

YOLO26中的PPM空间金字塔池化:改良设计与多尺度特征提取教程

在计算机视觉的语义分割任务中,准确理解图像中的上下文信息至关重要。例如,在街景图像中,可能同时存在远处的小汽车和近处的大建筑物,网络需要具备捕获多尺度上下文信息的能力。例如,要正确识别图像中的"船",不仅需要看到船本身的特征,还需要理解周围的水面环境。金字塔的每一层对应不同的池化尺度,从细粒度到粗粒度,形成了多层次的特征表示。PPM(Pyramid Pooling Module)正是为了解决这一问题而提出的模块,它通过构建金字塔形状的池化结构,有效地聚合不同尺度的上下文信息,从而提升语义分割的精度。

LXY_LOVE36的博客 82

图数据库和图计算系统有什么区别?

对于广大刚刚接触“图数据分析”的用户而言,一个十分具有迷惑性的问题是:图数据库和图计算系统有什么区别?今天,我们就从技术层面来简单地说一说两者的不同之处。 图数据库适合需要对子图进行并发操作的场景;图计算系统适合需要对全图进行迭代式计算的场景。 图计算系统 我们先从图计算系统开始。 图计算系统面向的场景主要是全图分析类的任务,例如:计算每个顶点的PageRank;计算从某(几)个顶点出发到其它所有...

Fmacloud的博客 688

基于 51 单片机的智能手势控制小车设计与实现

智能手势控制小车以STC89C52RC 单片机为控制核心,通过手势识别模块采集用户手势指令,经单片机处理后驱动电机执行前进、后退、左转、右转等动作。该项目融合了传感器技术、单片机编程和电机驱动技术,具有成本低、易实现、互动性强的特点,适合作为嵌入式系统入门实践案例。本项目成功实现了基于 51 单片机的智能手势控制小车,通过 APDS-9960 模块采集手势信号,经单片机处理后驱动电机完成基本动作,验证了 “传感器 + 单片机 + 执行器” 的嵌入式系统设计思路。

weixin_42300449的博客 180

第95章 安全工程师:Shell 脚本实现安全扫描、漏洞检测、日志审计

随着网络安全威胁日益复杂,传统的手动安全管理已无法满足现代企业的安全需求。Shell 脚本为安全工程师提供了强大的自动化能力,能够实现 7×24 小时的安全监控、快速漏洞扫描、智能日志分析和实时威胁响应。本章将系统介绍如何使用 Shell 脚本构建完整的安全防护体系,从基线检查到实时监控,帮助你打造自动化的安全运维能力。

猪猪侠 91

Python 计算两个连通子图距离_解读 | 图数据库和图计算系统有什么区别?

▲ 点击蓝字关注我们对于广大刚刚接触“图数据分析”的用户而言,一个十分具有迷惑性的问题是:图数据库和图计算系统有什么区别?今天,我们就从技术层面来简单地说一说两者的不同之处。图数据库适合需要对子图进行并发操作的场景;图计算系统适合需要对全图进行迭代式计算的场景。图计算系统我们先从图计算系统开始。图计算系统面向的场景主要是全图分析类的任务,例如:计算每个顶点的PageRank;计算从某(几...

weixin_39612297的博客 175

大数据领域数据产品的交通运输行业应用

您是否经历过早高峰被堵在桥上,看着导航显示“前方5公里缓行”却无能为力?是否见过货车司机绕远路导致成本飙升?这些“交通痛点”的背后,是传统交通管理依赖经验决策的局限。本文将聚焦“大数据数据产品”这一核心工具,从技术原理到实际应用,全面解析它如何为交通运输行业“开天眼”,解决从城市拥堵到物流效率的一系列难题。本文将按照“问题引入→概念拆解→技术原理→实战案例→应用场景→未来趋势”的逻辑展开,用生活化比喻降低理解门槛,用代码和数学模型提升专业性,最终帮您建立“大数据+交通”的完整认知框架。交通数据。

操作系统内核探秘的博客 237

知识图谱下图神经网络、图计算、图数据、图数据库未来发展趋势如何?

图计算系统基于顶点和边的方式存储图数据和计算,能够建构任意复杂的网络和模型并存储大量的信息,进而完整且形象地映射分析人员想要研究的问题域。经典的表格结构的数据都能够用图数据来表示,但不是所有的图数据都能够用数组或表格的形式来表示。

LANHYGPU的博客 3794

YOLO11-pose关键点检测:训练实战篇 | 自己数据集从labelme标注到生成yolo格式的关键点数据以及训练教程

教会你如何用自己的数据集转换成对应格式的数据集以及如何训练YOLO11-pose关键点检测

①答疑群聊服务;②YOLO大模型知识问答系统;③计算机视觉论文生成智能体; 5419

用生成式AI自动生成测试用例的完整教程

本文旨在帮助测试工程师、开发人员快速掌握“生成式AI自动生成测试用例”的核心技术,覆盖从概念理解、工具选择到实战落地的全流程。无论是Web应用、API接口还是移动端功能测试,你都能找到可复用的方法。本文将按照“概念→原理→实战→避坑”的逻辑展开:先通过生活案例理解生成式AI如何生成测试用例,再拆解核心算法原理,接着用Python代码演示完整生成流程,最后分享实际应用中的优化技巧和未来趋势。生成式AI:能“创造内容”的AI模型(如ChatGPT、CodeLlama),像会写作文的智能笔。测试用例。

AIGC应用创新大全的博客 1581

图计算与图数据库差异简析

图计算(图数据库)肇始于学术界对图论的研究,从最早的200多年前的欧拉的七桥问题演化出早期图论,再到后来的地图上色问题、20世纪60年代的随机图理论研究、多种最短路径算法,以及过去20年间随着大数据框架和理论发展而形成的各种社交图谱(图数据集)研究。但是,图计算(Graph Computing)与图数据库(Graph Database)之间的差异有很多,这是刚接触“图”的人不容易厘清的。尽管在很多情况下,图计算可以和图数据库混用、通用,但它们之间存在着很多的不同。 图计算可以简单的等同于图处理框架(Gra

Ultipa的博客 992

js逆向-逆向部分技巧总结

js逆向-逆向部分技巧总结

Deng872347348的博客 2133

图计算怎么用?从数据到关系的魔力

传统数据库架构以存储为中心,计算通常是依附存储引擎而存在的;而在图数据库中,因为要解决高性能计算、复杂遍历查询计算的效率问题,所以图计算的重要性不言而喻!

Ultipa的博客 1425

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

嬴图 | 图计算的查询模式有哪些?

图计算中有哪些基础的计算查询模式。其实,其分类方式的不同取决于不同的看待视角。

Ultipa的博客 1059

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

荐读 |来自“图”的挑战是什么?如何区分图数据库与图计算? 一文速解

本文将浅谈关联数据是怎样对过往技术提出挑战的,同时详细探讨图数据库和图计算之间的区别。

Ultipa的博客 268

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

浅析图数据库市场/图数据库/图计算/图引擎/图神经网络/知识图谱.

**个人微信:934376935(阿秾)**欢迎大家随时骚扰我,我希望结交更多图数据库/图计算/图神经网络方面的人才以及关联技术人才。各类职位我都有 图论的历史 **第一阶段:**从1736年到19世纪中叶1736年,欧拉(L·Euler)研究哥尼斯堡城(Koni gsberg)的七桥问题发表了图论的首篇论文,被誉为图论之父1847年,德国数学家(G.R.kirchhoff)应用图的方法分析电网络...

Corner_Allen_Chen的博客 1789

图计算发展简史(1)

本文将通过回顾图论相关学科与技术的发展历史以帮助大家更好地了解图技术。

Ultipa的博客 964

图算法 | 3、图分析与数据科学

因为图数据库自下而上关注的是数据的关联关系,从建模、存储到数据治理再到数据计算与分析,以及数据查询与应用,它不再拘泥于关系数据库的表结构,不再受限于主键、外键,让数据建模更加灵活和高维,不再专注于浅层查询,也第一次让计算引擎成为数据库的一等公民,进而意味着在面向深层、复杂、动态、递归查询、分析与计算时的效率有指数级提升。区别在于,建模工程师需要摆脱传统的二维表思维束缚,掌握用图数据的高维建模,以及掌握如何进行高效的图分析,在什么场景下用何种图算法来实现更低的成本与更高的回报率。数据科学是一个新兴的领域。

Ultipa的博客 1485
下一篇: 图数据库选型:问题、方法与工具
TuGraph
博客等级 码龄4年 183粉丝 43原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值