图计算 概述

图计算101:图计算的类型、语言与系统 本文是图计算 101 系列的第二篇文章,将繁杂的图计算任务根据其计算模式的特性进行分类,并对每一类的图计算任务进行简要的介绍。 背景 现实生活中的很多数据都可以建模成图(Graph)这一抽象的结构。这种高效紧凑的数据形式可以表示出拓扑、属性、时序等丰富的信息,而图计算的目标就是从图结构中挖掘出有价值的知识或规律,例如频繁模式、因果关系等。随着信息时代的到来,数据规模呈爆炸式增长,产生了对大规模的图数据进行高效处理的需求,图计算已经成为了工业界和学术界的热点话题,并因此诞生了一系列的图计算系统及优化研究工. 阅读详情

  近年来,全球大数据进入加速发展时期,数据量呈现指数级爆发式增长,而这些大量数据中不同个体间彼此交互产生的数据以图的形式表现。注意,这里的“图”指的是数据结构,是针对“图论”而言的,而不是指图像。图G由节点V(vertice)与边E(edge)构成,我们一般表示为G(V,E)。图数据的典型例子比如网页链接关系、社交网络、商品推荐等。比如微信的社交网络,是由节点(个人、公众号)和边(关注、点赞)构成的图;淘宝的交易网络,是由节点(个人、商品)和边(购买、收藏)构成的图。如此一来,抽象出来的图数据构成了研究和商用的基础,可以以此探究出“世界上任意两个人之间的人脉距离”,“关键意见领袖”等。将这些应用到商业领域,其底层的运算往往是图相关的算法,这便是图计算。
  图计算的应用场景:

  • 金融行业的应用。在金融实体模型中,存在着许许多多不同类型的关系,以及数十亿的结点和边。有些是相对静态的,如企业之间的股权关系、个人客户之间的亲属关系,有些则是不断地在动态变化,如转账关系、贸易关系等等。这些静态或者动态的关系背后,隐藏着很多以前我们不知道的未知。之前,我们在对某个金融业务场景进行数据分析和挖掘过程中,通常都是从个体(如企业、个人、账户等)本身的角度出发,去分析个体与个体之间的差异和不同,很少从个体之间的关联关系角度去分析,因此会忽略很多原本的客观存在,也就更无法准确达到该业务场景的数据分析和挖掘目标。而图计算和基于图的认知分析正是在这方面弥补了传统分析技术的不足,帮助我们从金融的本质角度来看这个问题,从实体和实体之间的经济行为关系出发来分析问题。
      在金融行业中,图计算以及认知技术重点应用的业务领域包括:金融风险的管控、客户的营销拓展,内部的审计监管、以及投资理财等方面。
      再如国内商业银行都面临的信贷风险问题:受国内经济下行的影响,企业客户贷款的不良率攀升。为了提高银行对企业不良风险传导的预测能力,利用图计算和图认知技术,完整刻画企业客户之间、企业与自然人之间的社会关系、经济往来关系,构建全方位的风险关联网络,实现风险要素的动态性和完整性呈现。当关联网络内某家企业发生信贷风险时,利用风险关联网络中风险客户的客户画像,经济行为轨迹等信息进行交叉关联分析,预测风险的传导路径和扩散范围,帮助银行采取有效措施,阻断风险传染源,进行风险隔离,从而提升风险管理的可靠性和准确率。
  • 互联网行业的应用。随着数据的多样化,数据量的大幅度提升和算力的突破性进展,超大规模图计算在大数据公司发挥着越来越重要的作用,尤其是以深度学习和图计算结合的大规模图表征为代表的系列算法。图计算的发展和应用有井喷之势,各大公司也相应推出图计算平台,例如Google Pregel、Facebook Giraph、腾讯星图、华为图引擎服务GES等。
      华为图引擎服务GES(Graph Engine Service)是针对以“关系”为基础的“图”结构数据,进行查询、分析的服务。广泛应用于社交关系分析、推荐、精准营销、舆情及社会化聆听、信息传播、防欺诈等具有丰富关系数据的场景。其主要应用场景有互联网应用、知识图谱应用、金融风控应用、城市工业应用和企业IT应用。
《图处理加速架构研究》第二章【阅读笔记及思考】 第 2 章 图处理应用加速架构的研究背景与现状 主要内容是: 图计算典型算法+编程模型 图神经网络模型 (图计算加速架构+图神经网络加速架构)研究现状 2.1 图与其广泛的应用 泛泛而谈。 2.2 图的特征与存储格式 2.2.1 图的特征 无结构特性:形状不规则,邻居数量不确定 极度稀疏:A是稀疏矩阵 幂律度分布:存在极少量度很高的节点,大量节点的度都很低——“名人效应” 强群体结构:群体或社区结构 2.2.2 图的存储格式 ... 阅读详情

相关推荐

大数据架构师必知必会系列:图计算

随着互联网和移动互联网的快速发展,全球数据量呈爆炸式增长,数据之间的关联性也日益复杂。传统的数据库管理系统在处理海量、高关联数据时面临着巨大挑战,难以满足日益增长的数据分析和挖掘需求。在此背景下,图数据库和图计算技术应运而生,为处理复杂关联数据提供了一种全新的解决方案。图数据库以图论为基础,使用节点、边和属性来表示和存储数据之间的关系。相比于传统关系型数据库,图数据库能够更直观、高效地存储和查询关联数据,尤其适用于社交网络、推荐系统、知识图谱等领域。

AI天才研究院 1651

图计算(林子雨慕课课程)

图计算是专门针对图数据结构的处理许多大数据都是以大规模图或者网络的形式出现许多非图结构的大数据,也常常会被转换为图模型后进行分析图数据结构很好地表达了数据之间的关联性关联性计算是大数据计算的核心—通过获得数据的关联性,可以从噪音很多的海量数据中抽取有用的信息图的应用实例购物者之间进行建模,可以得到兴趣比较相似的用户,为用户实时推荐商品图结构计算可以发现传播关系中的意见领袖,如热门话题讨论传统的图计算算法存在的典型问题常常表现出比较差的内存访问局限性针对单个顶点的处理工作过少。

weixin_44911248的博客 1633

SparkGraphX图计算操作概述

SparkGraphX图计算操作概述 作者:禅与计算机程序设计艺术 / Zen and the Art of Computer Programming / TextGenWebUILLM SparkGraphX图计算操作概述

AI天才研究院 709

Pregel(图计算)技术原理

图计算简介 图结构数据: 许多大数据都是以大规模图或网络的形式呈现。 许多非图结构的大数据,也常常会被转换为图模型后进行分析。 图数据结构很好地表达了数据之间的关联性。 关联性计算是大数据计算的核心——通过获得数据的关联性,可以从噪音很多的海量数据中抽取有用的信息。 传统图计算解决方案的不足之处: 很多传统的图计算算法都存在以下几个典型问题: 常常表现出比较差的内存访问局部...

曹世宏的博客 4万+

WEBGL Shader零基础教程(四):片元着色器核心逻辑

本文系统介绍了WebGL渲染管线中片元着色器的核心概念与应用。主要内容包括:1)片元着色器在渲染管线中的定位与作用,作为逐像素处理单元接收插值数据并计算最终颜色;2)输入数据类型与使用规则,重点讲解varying变量和uniform变量的应用场景;3)颜色计算的核心逻辑,涵盖基础色、渐变、纹理采样和颜色混合;4)进阶特效实现与性能优化技巧,包括交互效果、内置函数组合和GPU计算优化;5)通过综合案例演示了纹理、波纹与交互效果的整合实现。文章提供了完整的代码示例和调试建议,为后续学习光照模型、后期处理等高级渲

分享知识,拥抱变化 1374

AFSim 2.9中文手册实战指南:从安装到高级功能详解(附B站视频链接)

本文详细介绍了AFSim 2.9的安装配置、基础功能操作和高级功能应用,帮助用户快速掌握这款强大的仿真平台。从系统要求检查到多体动力学仿真,再到性能优化技巧,全面解析AFSim 2.9的使用方法,适合初学者和进阶用户参考。

weixin_30892037的博客 566

图计算-Pregel-Hama

一.图计算简介 1.1 图计算是专门针对图结构数据的处理. 许多大数据都是以大规模图或网络的形式呈现; 许多非图结构的大数据,也常常被转换为图模型后进行分析; 图结构很好地表达了数据之间的关联性; 关联性计算是大数据计算的核心------通过获得数据的关联性,可以从噪音很多的海量数据中抽取有用的信息; 1.2 传统的图计算算法存在典型问题 常常表现出比较差的内存访问局部性; 针对单个节点的处...

TxyITxs的博客 4804

科研党福音:如何用Zotero+Paper Agent打造你的AI论文速递系统(附详细配置教程)

本文为科研工作者提供了一套利用Zotero和开源工具Paper Agent构建自动化AI论文速递系统的详细教程。该系统能基于用户在Zotero中的文献库智能学习研究兴趣,每日自动从arXiv等平台筛选、下载并深度解读最相关的前沿论文,生成个性化日报,实现从被动接收到主动精准获取的知识工作流重塑。

kite3的博客 515

图计算在风控领域的应用概述

图计算技术在风控领域的应用前景广阔,通过构建和分析复杂的关系网络,金融机构可以更有效地识别和防范各种风险。随着数据量的不断增长和计算能力的提升,图计算技术将在风控领域发挥越来越重要的作用。未来,结合人工智能和大数据技术,图计算将进一步提升风控系统的智能化和精准化水平,为金融机构的稳定与安全提供有力保障。本文将介绍图的基本概念、常见的图算法以及图在风控场景下的应用。在风控场景中,图计算技术通过分析复杂的关系网络,帮助金融机构识别和防范各种风险。图算法是图计算的核心,用于解决图中的各种问题。

PHX_Z的博客 970

YOLOv8中间特征层可视化

在通过观察这些特征,可以清楚地看到模型如何逐步将输入图像转化为有意义的表示。

weixin_45314480的博客 6890

【安装文档】TRex流量分析仪保姆级安装指南--基于VMware虚拟机(ubantu18.04@Intel 82545EM

如果之前添加了网卡,这里就可以看见有3个网卡(没添加的现在再加也行),* Active *为Linux内核正在使用的网卡,另外两张是未启用的网卡(注:未启用的网卡在终端中使用ifconfig命令是查不到的,需要先使用ip addr找出网卡,再激活,此时网卡会变为* Active *状态。

lingshengxiyou的博客 2130

Spark GraphX图计算框架原理概述

言之易而为之难,学习大数据之图计算,就是从“浊”中找出“静”的规律,达到“清”的境界;从“安”中找出“生”的状态。 概述 GraphX是Spark中用于图和图计算的组件,GraphX通过扩展Spark RDD引入了一个新的图抽象数据结构,一个将有效信息放入顶点和边的有向多重图。如同Spark的每一个模块一样,它们都有一个基于RDD的便于自己计算的抽象数据结构(如SQL的DataFram...

不清不慎的博客 1万+

Oracle-如何修复undo坏快

undo出现坏快,导致数据库宕机,无法启动

qqqyyy0422的博客 570

图计算和图挖掘的概述

Some field:

malo12的博客 479

Windows 11 24H2 外接显卡坞兼容性实测:3步解决USB设备失效

本文详细解析了Windows 11 24H2系统下外接显卡坞导致USB设备失效的问题,并提供了三步终极解决方案:驱动预解压与手动更新、电源管理设置调整、优化的设备连接顺序。通过雷电3接口的兼容性优化,帮助用户解决键盘鼠标卡死等常见问题,提升外接显卡坞的稳定性与性能。

weixin_31714129的博客 594

AI应用工程师面试指南与参考答案

摘要:AnkerAI应用工程师职位面向2024/25届毕业生,要求计算机相关专业背景,强调工程实现与技术探索能力。岗位职责包括全栈开发、AI技术整合(如大模型、图像识别)、团队AI赋能及系统优化。职位更看重编程实践能力(Python/Java等)和学习潜力,而非单纯算法知识。成功候选人将参与智能化产品开发,获得导师指导和技术成长机会。面试准备应聚焦项目经验展示、业务需求理解和技术解决方案能力,通过结构化回答和实操案例体现工程思维与创新潜力。

郑伟强dev的专栏 410

【图计算系统】小白入门(一):图计算系统的基本概念、开源框架及其应用

图计算系统的基本概念、开源框架及其应用一、图结构概论:1.1什么是图?1.2 图处理的难点:1.3 图储存方式:(1) 邻接矩阵:(2) 邻接表:(3) 十字链表(有向图):(4) 邻接多重表(无向图):(5) 边集数组(权重图):二、图计算概论:2.1 基本概念:2.2 开源框架:Ligra:Gemini:Plato:2.3 图计算的实现:2.4 图计算的应用:总结: 如非作者允许,本文禁止转载...

梁瑛平的博客 1万+

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

图计算 on nLive:Nebula 的图计算实践

图计算 on nLive:Nebula Graph 的图计算实践

weixin_44324814的博客 1013

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

嬴图 |图数据库与图计算—服务与架构概述(上)

在本篇中,我们将介绍实时图数据库的基础特征、优势、架构与服务,如模式、数据建模、API/接口和部署等。 一.实时图计算系统的优点: Ultipa实时图数据库旨在解决其他(非实时)图数据解决方案中经常遇到的性能、可扩展性、用户友好性和健壮性的问题。 · 极致的高性能,通过高密度并发图计算实现的超高性能(高吞吐率、低时延)。各项性能指标稳定的超越Neo4j或Apache Spark GraphX等系统的100倍以上。 ·高并发系统,高并发的图计算系统是通过高并发的数据结构与对底层硬件的并发处理能力的充分释放

Ultipa的博客 1684

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

图计算系统小调研

仔细看看图计算系统是干嘛的,做笔记,决定未来方向。 一. 费马科技 五篇知乎文 图计算系统发展简史 https://zhuanlan.zhihu.com/p/83202666 社交网络分析、网页排序、社区发现、天体物理学、计算化学、生物信息学、超大规模集成电路的设计、运输路线的规划、电力网络的仿真模拟等等 早期的图计算框架: 早期的面向图计算的程序库缺乏对用户友好的编程模型,需要介入和管理的细节较多,上手难度大(BGL、PBGL)。 通用大数据处理系统 通过较为廉价的普通服务器集群进行大规模数

叶子心情你不懂 1097

嬴图 | 图数据库与图计算—服务与架构概述(下)

实时图数据库中的数据是如何存储的?显然,不止一种方案可以实现图数据库的存储。

Ultipa的博客 793

关于图计算&图学习的基础知识概览:前置知识点学习(Paddle Graph L)系列【一】

因为篇幅关系就只放了部分程序在第三章,如有需求可自行fork项目原始链接。欢迎fork本项目原始链接:关于图计算&图学习的基础知识概览:前置知识点学习(Paddle Graph L)因为之前一直在研究知识提取相关算法,后续为了构建小型领域知识图谱,会用到知识融合、知识推理等技术,现在开始学习研究图计算相关。

2401_85373396的博客 1390

bsp模型适用于图计算_干货学习丨大规模图计算

▕ 作者:王钊,美国德克萨斯州达拉斯分校硕士毕业。现任普适智能算法工程师,目前专注于图计算算法研究。导读图计算就是研究如何高效计算、存储和管理大规模图数据。图是由顶点和边组成的,它可以对事物以及事物之间的关系建模,比如文章是点,文章与文章之间的超链接是边;或者顾客和商品是点,购买或者喜欢是边,购买的次数喜欢的程度是边的权重;再如银行卡持卡人是点,交易是边,交易频率交易金额是属性。针对这些关系模型...

weixin_29741447的博客 558

spark sql 类型转换array_Spark原理与实战(三)-- GraphX图计算组件最短路算法实战...

前言:Spark除了批处理和流处理,还提供了GraphX组件提供图计算。近些年,图计算越来越受到数据分析人员的青睐。图计算目前广泛应用于公安系统和银行金融领域。通过社交网络分析,可以打击犯罪团伙,金融欺诈、信用卡盗刷等。通过人与人之间的关联关系推断,还可以用于理财产品推荐等场景。图算法常见的图算法大致可以分为路径搜索算法(例如DFS & BFS、最短路径、 最小生成树、随机游走等)、中心性...

weixin_29646607的博客 204

【Rust 日报】2022-10-02 GraphScope:大规模图计算系统

Rust正在进入Linux6.1地址:https://lore.kernel.org/lkml/202210010816.1317F2C@keescook/GraphScope:大规模图计算系统GraphScope 是阿里巴巴达摩院智能计算实验室研发并开源的一站式图计算平台。依托于阿里海量数据和丰富场景,与达摩院的高水平研究,GraphScope 致力于针对实际生产场景中图计算的挑战,提供一站式高...

Rust语言学习交流 502

大数据开发:分布式计算系统发展历程

之前我们讲了分布式存储系统的发展历程,今天接着来讲存储之后的下一个重要环节——计算。要从海量的数据集合当中去挖掘出相应的价值,就需要经历计算的过程。今天的大数据开发分享,我们就主要讲分布式计算系统的发展历程。 首先,关于分布式计算,大致也可以分为几个类别:传统基于MSG的系统、MapReduce-like系统、图计算系统、基于状态(State)的系统、Streaming系统。 传统基于MSG的系统: 这类系统里比较有代表性的就是MPI(Message Passing Interface)。目前比较.

shuimuzh123的博客 1273
上一篇: 异构计算简介
下一篇: VPC概述
K. Bob
博客等级 码龄8年 82粉丝 294原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值