- 博客(23)
- 收藏
- 关注
原创 GUM: 基于负载迁移的高效多 GPU 图分析
GUM 通过利用负载迁移(Work Stealing)来解决图计算任务在多 GPU 环境下的动态负载不均和长尾问题。本文即介绍 GUM 的技术原理与细节。
2023-05-18 11:42:48
279
原创 FLASH: 简单易用的分布式图算法编程模型
FLASH 是一个新的分布式图分析算法编程模型,它提供了强大的表达能力、简单易用的编程接口以及高效的系统性能。
2023-05-18 11:39:04
232
原创 使用 GraphAr 导入/导出 Neo4j 图数据
在之前的文章中,我们介绍了标准化图存储文件格式 GraphAr 的整体概况和快速上手指南。在本文中,我们介绍如何将 GraphAr 作为图数据归档格式,完成 Neo4j 图数据库中数据的导入导出。
2023-05-18 11:14:44
448
原创 快速上手标准化图存储文件格式 GraphAr
在之前的文章中,我们介绍了标准化图存储文件格式 GraphAr 的设计思路、项目概况和应用场景。在本文中,我们将结合具体的例子,介绍如何使用其提供的 C++ SDK 快速上手 GraphAr。
2023-05-18 11:09:28
228
原创 GraphAr:标准化图存储文件格式
GraphAr 定义了一套简单、高效、通用的标准图数据文件存储格式,并提供了一系列数据读写和转化接口。目前,GraphAr 已在 Github 开源,欢迎大家关注、贡献代码和加星星
2023-05-18 11:06:10
201
原创 面向动态图的极低时延 GNN 在线推理采样服务
本文主要介绍 GraphScope 图学习引擎 GraphLearn 最新推出的面向 GNN 在线推理任务的动态图采样服务。
2022-08-05 15:30:24
430
原创 图计算在网络安全分析中的应用
本文介绍 GraphInsight 在 ChinaVis 2022 可视化挑战赛中,与 GraphScope 一起用图计算在网络安全分析场景下的应用与实践。
2022-07-25 16:48:03
1656
原创 快速开发 GraphScope 图分析应用
我们在 github 提供了一个图分析应用的模板库 (template repo),用户只需将几个 C++ 函数替换成自定义的逻辑,便可自定义图分析算法和应用并运行在 GraphScope 上。
2022-07-25 16:41:44
770
原创 基于 JupyterLab 插件在 GraphScope 中交互式构图
目前 GraphScope 发布了 graphscope-notebook 插件,通过交互式的方式帮助用户在 Jupyterlab 环境下完成图数据的构建和载入操作,极大地降低了载图的复杂度和出错率。本文将详细介绍该插件的使用流程。背景对于任何一款图计算产品而言,图数据的载入操作往往是第一步,同时也是比较重要且十分复杂的一步,这其中主要的原因是图数据本身的复杂性。因此,为了提升用户的载图体验,GraphScope 内置了多种数据集,例如对于 TinkerPop Modorn Graph 图而言,用户.
2022-05-31 17:20:43
215
原创 GAIA-IR:GraphScope 上的并行化图查询引擎
在本文中,我们将介绍 GraphScope 图交互式查询引擎 GAIA-IR,它支持高效的 Gremlin 语言表达的交互图查询,同时高度抽象了图上的查询计算,具有高可扩展性。
2022-04-18 11:05:29
248
原创 用 GraphScope 像 NetworkX 一样做图分析
NetworkX 是 Python 上最常用的图分析包,GraphScoep 兼容 NetworkX 接口。本文中我们将分享如何用 GraphScope 像 NetworkX 一样在(大)图上进行分析。
2022-04-01 16:04:50
576
原创 在 K8s 上运行 GraphScope
本文将详细介绍:1) 如何基于 Kubernetes 集群部署 GraphScope ; 2) 背后的工作细节; 3) 如何在分布式环境中使用自己构建的 GraphScope 开发镜像。
2022-04-01 15:59:57
310
原创 从安装到编译: 10分钟教你在本地使用和开发GraphScope
GraphScope 已经支持在主流的操作系统上部署并使用。本文将详细介绍本地安装 GraphScope 的两种方式: 1)直接通过 pip 安装已发布的二进制包;2)从源码编译构建最新版本的 GraphScope。
2022-04-01 15:54:56
307
原创 图计算101:图计算的类型、语言与系统
本文是图计算 101 系列的第二篇文章,将繁杂的图计算任务根据其计算模式的特性进行分类,并对每一类的图计算任务进行简要的介绍。背景现实生活中的很多数据都可以建模成图(Graph)这一抽象的结构。这种高效紧凑的数据形式可以表示出拓扑、属性、时序等丰富的信息,而图计算的目标就是从图结构中挖掘出有价值的知识或规律,例如频繁模式、因果关系等。随着信息时代的到来,数据规模呈爆炸式增长,产生了对大规模的图数据进行高效处理的需求,图计算已经成为了工业界和学术界的热点话题,并因此诞生了一系列的图计算系统及优化研究工.
2022-03-04 17:35:54
1158
原创 GraphScope analytics in Java:打破大规模图计算的跨语言障碍
本文中我们将分享大规模图计算上的跨语言探索,GraphScope 的高效图分析 Java 开发包 GRAPE-JDK。1. 图分析上跨语言的需求与挑战图分析是图计算任务中的重要场景,例如大家熟悉的单源最短路径就是一种常见的图分析算法。GraphScope 的图分析引擎源自于GRAPE[1],其内置了常见的图分析算法如 SSSP,PageRank 等,用户可以直接进行调用。但在实际生产场景中,业务逻辑在通用算法上一般还有一些定制实现,而业务侧开发者往往在大数据生态中对 Java 更有经验。要求 J.
2022-02-28 14:35:26
642
原创 图计算 101:图及图计算漫谈
本文是图计算 101 系列的首篇文章,通过一系列常见的应用,介绍了图与图计算的基础背景。什么是图?宇宙间的万物,大到恒星行星,小到原子分子,都时时刻刻与其他个体存在着相互关系,而图(Graph)正是描述这种个体之间的相互关系最自然也最合适的数据结构。图包含了一系列的顶点(即个体)与边(即个体之间的关系),同时顶点或者边都可以附带一些描述自身的信息(即特征)。图 Graph我们日常生活中常见的图数据包括社交网络、交通网络以及生物结构图等。对于社交网络来说,每个用户可以当作图中的一个顶点.
2022-02-28 10:20:17
2041
原创 Vineyard: 开源分布式内存数据管理框架
> 在之前的文章中,我们介绍了 GraphScope 背后的图分析引擎原型 GRAPE 系统以及其开源实现 libgrape-lite。本文将介绍 libgrape-lite 的新功能:利用 GPU 来处理 PIE 模型下的图分析任务。这项新功能能够使用户无感地将图分析任务迁移到 GPU 上,利用其高并发高带宽的特性,来加速图分析任务以获得更高的性能。### 背景图分析任务是大数据场景下一类关键基础任务,它支撑着社交、物流、分析、通信等多个场景下的重要应用。学术界和工业现有的引擎有 Power.
2022-02-25 15:34:32
556
原创 libgrape-lite on GPUs:GPU助力加速图分析任务
libgrape-lite on GPUs:GPU助力加速图分析任务背景CPU vs. GPU将 PIE 迁移到 GPU差异化的负载均衡策略平衡并行度和计算效率GPU 带来的性能提升总结与展望在之前的文章中,我们介绍了 GraphScope 背后的图分析引擎原型 GRAPE 系统以及其开源实现 libgrape-lite。本文将介绍 libgrape-lite 的新功能:利用 GPU 来处理 PIE 模型下的图分析任务。这项新功能能够使用户无感地将图分析任务迁移到 GPU 上,利用其高并发高带宽的特性,
2022-02-25 15:19:37
505
原创 Ingress:从静态图分析到动态图分析
本文介绍 GraphScope 团队与东北大学张岩峰教授团队的学术合作项目,可以高效处理动态大规模图数据的自动增量图分析框架 Ingress。该成果论文 Automating Incremental Graph Processing with Flexible Memoization[1] 发表于 VLDB’2021。背景随着图数据的迅速增长,对处理大规模图数据的需求也不断增加,也涌现了各种分布式图处理系统,如 Pregel、PowerGraph、GeminiGraph、GRAPE等。但这些分布.
2022-02-18 11:19:51
849
原创 libgrape-lite: 提供 GraphScope 的图分析能力
GraphScope 的图分析引擎源自于 GRAPE 系统。本文介绍 GRAPE 的开源实现:高性能并行图分析 C++ 库 libgrape-lite。该图计算库具有性能优越、易用性好、模块化设计、支持自动并行化等特点,当前也是 GraphScope 项目的一个 submodule。背景图数据作为一种表示数据之间关系的抽象模型,可以直观、自然地表示现实世界中各种实体对象以及它们之间的关系。在大数据场景下,社交网络、交易数据、知识图谱、交通和通信网络、供应链和物流规划等都是典型的以图建模的例子...
2022-02-18 11:10:17
995
原创 从 Vertex 到 Subgraph 再到 PIE: 并行图计算编程模型概览
对于图计算来说,一个基础性的问题是如何选取合适的编程模型。它不仅决定了用户上手的难易程度,还对系统的整体性能有很大的影响。
2022-01-26 17:49:23
1306
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人