6月11日,2023开放原子全球开源峰会在北京开幕。本次峰会以“开源赋能,普惠未来”为主题。在高峰论坛上,蚂蚁技术研究院院长、图计算负责人陈文光宣布开源 TuGraph 图计算平台核心成员——工业级流

深入解读TuGraph计算引擎模型推理系统 TuGraph计算引擎模型推理系统将基于迭代计算的图计算框架与模型推理系统相结合,推理系统可自定义推理依赖环境,图迭代计算与推理链路实现隔离。基于共享内存的跨进程通信方式,提高了推理数据交换效率,满足流图近线推理的时效性。 阅读详情

6月11日,2023开放原子全球开源峰会在北京开幕。本次峰会以“开源赋能,普惠未来”为主题。在高峰论坛上,蚂蚁技术研究院院长、图计算负责人陈文光宣布开源 TuGraph 图计算平台核心成员——工业级流式图计算引擎 TuGraph Analytics。

(图:陈文光宣布开源业内首个工业级流式图计算引擎 TuGraph Analytics)

去年9月,蚂蚁集团开源了 TuGraph 图计算平台中的图数据库 TuGraph DB。这次开源是 TuGraph 图计算平台的又一次开源升级,进一步加大了蚂蚁在图计算基础软件领域的开放力度,也是通过开放协同促进科技创新的实际行动。

(图:TuGraph 开源步伐)

图(Graph)是一种抽象的数据结构,由顶点和边构成。图计算是一种以图结构建模的算法模型,可对大规模数据进行关系挖掘和复杂计算,实现知识推理和事件溯源。图计算目前已广泛应用在金融、政务、医疗等领域,备受全球研发机构和顶尖科技公司关注。流式图计算是一种将流式计算和图计算结合的交叉创新,融合了流式计算的高度实效性和图计算的灵活性,攻坚难度极高。

据了解,蚂蚁从2015年开始探索图计算,布局了图数据库、流式图计算引擎、图学习等相关技术,打造了世界规模领先的图计算集群,于业界首创了工业级流式图计算引擎,多次问鼎图数据库行业权威测试 LDBC 世界冠军并保持世界纪录。此次开源的工业级流式图计算引擎是蚂蚁从2017年开始布局打造,经过五年多工业级应用大考,流式图计算做到了在千亿数据规模的“图”上秒级延迟计算,是蚂蚁风控的核心基础技术,成功解决了金融场景风险分析难、识别率低、时效性差等业界难题。

(图:蚂蚁流式图计算团队负责人潘臻轩在本次峰会上介绍 TuGraph Analytics)

图计算是下一代人工智能关键核心技术。中国工程院院士郑纬民曾指出,“高性能图计算是当前全球人工智能竞争的战略性制高点,我们要加快攻克技术、突破产业瓶颈,防止在高性能图计算这一关键技术领域再被卡脖子”。而开源是共享科技成果,加速先进技术落地的最快路径。

陈文光强调,开源是蚂蚁的核心技术战略,也是面向数字化未来可持续创新的动力。此次流式图计算引擎开源,是延续蚂蚁开源核心基础技术的实际动作,希望通过开放成熟的图计算技术,服务更广阔的数字化产业,向世界输出中国科技公司的前沿技术影响力。未来,蚂蚁集团也愿意携手行业伙伴共同突破技术创新,繁荣开源生态。

据了解,蚂蚁开源聚焦于数据库、云原生、中间件等基础软件领域,积累了近100个社区头部开源项目、近1600个开源仓库、9大核心开源项目,如“2022世界人工智能大会镇馆之宝”隐语隐私计算技术栈、分布式数据库 OceanBase、行业首个通过商用密码产品认证的密码学技术“铜锁”等自研核心技术。


👉欢迎关注 TuGraph Analytics:https://github.com/TuGraph-family/tugraph-analytics

TuGraph Analytics图计算快速上手之弱联通分量算法 弱联通分量图算法(Weakly Connected Components Algorithm)是一种用于找到图中所有弱联通分量的算法。弱联通分量是指在有向图中,如果忽略所有边的方向,相互之间是连通的节点集合。算法的基本思想是通过深度优先搜索(DFS)或广度优先搜索(BFS)遍历图的所有节点,对于每个未访问过的节点,都会生成一个新的联通分量。在遍历过程中,如果当前节点的邻居节点已经被访问过,那么将其加入当前联通分量中,并继续遍历邻居节点。 阅读详情

相关推荐

一张图读懂TuGraph Analytics开源技术架构

GeaFlow(TuGraph-Analytics)是蚂蚁集团开源的分布式实时图计算引擎,即流式图计算。通过SQL+GQL融合分析语言对表模型和图模型进行统一处理,实现了流、批、图一体化计算,并支持了Exactly Once语义、高可用以及一站式图研发平台等生产化能力。

TuGraph的博客 767

探索数据的奥秘:TuGraph Analytics - 高效且灵活的数据分析工具

探索数据的奥秘:TuGraph Analytics - 高效且灵活的数据分析工具 是一个强大的开源数据分析项目,旨在帮助数据科学家、研究人员和工程师更高效地探索复杂的数据集。它构建在 TuGraph 数据库之上,提供了一系列高级算法和可视化工具,使用户能够挖掘隐藏的模式、关系和趋势。 技术分析 TuGraph Analytics 基于图数据库理论,使用图形模型来表示和存储数据。这种模型对于处理实体...

gitblog_00008的博客 576

技术解读 | TuGraph图分析引擎技术剖析

借助TuGraph的 C++ 图分析引擎 API ,用户可以对不同数据来源的图数据快速导出一个待处理的复杂子图,然后在该子图上运行诸如BFS、PageRank、LPA、WCC等迭代式图算法,最后根据运行结果做出相应的对策。参数模块作用于分析引擎中的Standalone模式,用于对图的一般信息(如数据来源,算法名称,数据输入、输出路径,顶点个数等)以及根据不同数据来源、不同算法所配置的不同信息参数进行接受和整理,传输给图算法及各个模块,同时将最终结果模块化展示。一般分为预处理、算法过程、结果分析三个阶段。

TuGraph的博客 4712

论文解读|TuGraph Analytics 流式图计算论文入选国际顶会 SIGMOD

6月18日-23日,数据库国际顶会 2023 ACM SIGMOD 在美国西雅图举行,蚂蚁流式图计算团队一篇论文入选。

TuGraph的博客 854

ChatTuGraph:通过大模型“与图对话”

相比于SQL相对成熟的语法标准,图查询语言尚未形成成熟的统一标准,目前是多种查询语法并存的状态,上手门槛高,因此更需要借助大语言模型的自然语言理解能力,降低图数据库查询语言的使用门槛。

TuGraph的博客 925

图数据处理的新时代:阿里FraphCompute与蚂蚁金服TuGraph对比综述

如果现有系统使用非Gremlin的图查询语言,那么集成TuGraph时可能需要转换查询语法。: 将FraphCompute与外部非阿里云的服务集成时,可能需要编写额外的适配器代码。: 对于敏感数据的处理,可能需要额外的安全措施来确保数据不被未经授权访问。: 需要频繁写入新边或节点的大规模动态图数据,可能导致存储成本增加。: 在某些特定场景下,如特定类型的图嵌入算法,可能需要定制实现。: 处理PB级别的数据集时,所需的计算资源可能导致成本显著上升。- 对于频繁更新的大规模图数据,存储成本可能增加。

weixin_43298211的博客 859

TuGraph Analytics作业监控面板:运行时组件上的高效分析工具

我们在作业进程中内置了一个Dashboard(本地启动/容器启动时自动生效),包括前端页面和后端server,用户可以不需要感知到它们的存在。通过访问Dashboard,用户可以更方便地通过白屏化的方式查看作业的执行进度、组件列表和详情、任意组件内部的指标、日志等。还可以通过Profiler工具对进程状态进行分析,快速定位问题。

TuGraph的博客 662

Vector | Graph:蚂蚁首个开源Graph RAG框架设计解读

引入知识图谱技术后,传统RAG链路到Graph RAG链路会有什么样的变化,如何兼容RAG中的向量数据库(Vector Database)和图数据库(Graph Database)基座,以及蚂蚁的Graph RAG开源技术方案和未来优化方向。

TuGraph的博客 3316

TuGraph Analytics图数据集成:表到图的最后一公里

小伙伴们想玩一玩图计算,数据的导入工作总是绕不开的一个环节。为了降低大家数据导入操作的成本,提升图计算的整体使用体验,TuGraph Analytics推出了“图数据集成”能力,帮助大家通过简单配置完成数据导入工作。

TuGraph的博客 1137

TuGraph Analytics图计算快速上手之K-core算法

K-Core算法是一种用来在图中找出符合指定核心度的紧密关联的子图结构,在K-Core的结果子图中,每个顶点至少具有k的度数,且所有顶点都至少与该子图中的 k 个其他节点相连。K-Core通常用来对一个图进行子图划分,通过去除不重要的顶点,将符合逾期的子图暴露出来进行进一步分析。K-Core图算法常用来识别和提取图中的紧密连通群组,因具有较低的时间复杂度(线性)及较好的直观可解释性,广泛应用于金融风控、社交网络和生物学等研究领域。

TuGraph的博客 1432

Flink流计算引擎

  伴随着海量增长的数据,数字化时代的未来感扑面而至。不论是结绳记事的小数据时代,还是我们正在经历的大数据时代,计算的边界正在被无限拓宽,而数据的价值再也难以被计算。时下,谈及大数据,不得不提到热门的下一代大数据计算引擎Apache Flink(以下简称Flink)。 统一的批处理与流处理系统 在大数据处理领域,批处理任务与流处理任务一般被认为是两种不同的任务,一个大数据项目一般会被设计为只...

Joker_Chou的博客 2099

芒种日,图新物,6月6日见

⚽️⚽️⚽️⚽️⚽️⚽️⚽️⚽️⚽️⚽️⚽️ ⛺️⛺️⛺️⛺️⛺️⛺️⛺️⛺️⛺️⛺️⛺️ 六月六日 14: 00 ...

TuGraph的博客 250

STM32 热敏电阻测量温度

1、硬件 STM32F103C8T6、热敏电阻传感器、OLED。 2、热敏电阻传感器的介绍

weixin_54721788的博客 1万+

TuGraph Analytics 开源项目教程

TuGraph Analytics 开源项目教程 1. 项目介绍 TuGraph Analytics(别名:GeaFlow)是由蚂蚁集团开发的分布式图计算引擎。它支持万亿级图存储、混合图和表处理、实时图计算和交互式图分析等核心能力。目前,它广泛应用于数据仓库加速、金融风险控制、知识图谱和社交网络等场景。 主要特性 分布式流图计算 混合图和表处理(SQL+GQL) 统一流/批/图计算 万亿级图原生...

gitblog_00164的博客 714

STM32超声波避障小车硬件设计与实时测距实现

超声波测距是嵌入式系统中经典的环境感知技术,其原理基于声波在空气中的传播时间与距离的线性关系,通过精确计时实现非接触式距离测量。该技术具备成本低、抗光干扰强、算法简洁等优势,广泛应用于智能小车、机器人避障、液位监测等场景。工程落地的关键在于硬件信号完整性(如5V/3.3V电平匹配)、微秒级定时精度(依赖高稳定外部晶振与输入捕获模式)以及强干扰环境下的数据鲁棒性(需软硬协同滤波)。本文以STM32F103C8T6为平台,深入解析HC-SR04模块的时序闭环控制、TIM3输入捕获双沿测量、L298N电机状态机驱

weixin_42578963的博客 297

KIBANA可视化管理界面说明

更说明转自https://blog.youkuaiyun.com/IT_ZRS/article/details/125496588 1 主要结构功能 使用浏览器访问 ip:5601 默认端口,进入首页 Discover:日志管理视图 主要进行搜索和查询 Visualize:统计视图 构建可视化的图表 Dashboard:仪表视图 将构建的图表组合形成图表盘 Timelion:时间轴视图 随着时间流逝的数据 APM:性能管理视图 应用程序的性能管理系统 Canvas:大屏展示

tian830937的专栏 7086

MeetUp预告|图技术应用场景实战

2023年03月26日14:00-16:30 ,TuGraph MeetUp 第二期-北京站,带来**「图技术应用场景实战」**,来自金融、电力科技领域的4位资深技术专家,将就图技术应用场景实战进行深度分享。大家也可就各自...

TuGraph的博客 359

AgentScope Java多智能体框架

AgentScope Java 的核心设计理念是“Agent-Oriented Programming” (面向智能体编程)。

zzz19920821的博客 1740

从API到Agent:万字长文洞悉LangChain工程化设计

正式开始前,还是有必要从定义(What)开始。LangChain是2022年10月底,由哈佛大学的Harrison Chase发起的基于开源大语言模型的AI工程开发框架。当然也可以问一下AI:我:LangChain是什么?GPT-4:LangChain 是一个开源的语言模型工具链框架,旨在使研究人员和开发人员能够更轻松地构建、实验和部署以自然语言处理(NLP)为中心的应用程序。

Fly2024124的博客 1477

【图像超分】论文复现:新手入门!Pytorch实现SRCNN,数据预处理、模型训练、测试、评估全流程详解,注释详细,简单修改就可以训练你自己的图像数据,有训练好的模型下载地址,随取随用

【图像超分】论文精读:Image Super-Resolution Using Deep Convolutional Networks(SRCNN)请配合上述论文精读文章使用,效果更佳!图像超分辨率SRCNN和FSRCNN复现代码,除基本的网络实现外,还有特征图可视化,PSNR曲线图可视化,测试自己的图像数据等不想理解原理,希望直接跑通然后应用到自己的图像数据的同学,请直接下载上面的代码,有训练好的模型,直接用即可。具体使用方式见代码中的README!有问题来本文评论区留言!准备数据集,以及数据预处理。

主要更新底层视觉(去噪、超分等)相关的科研内容,形式为【论文精读】+【论文复现】 2万+

【AI智能体】Dify 搭建个人专属简历美化助手操作详解

Dify 搭建个人专属简历诊断助手实战操作详解

congge 4382

图数据库应用场景:高等教育

图形分析,也称为图形算法或网络分析,是使用数据点作为节点和关系作为边缘的图形格式的数据分析。节点表示点或实体每个节点和边都具有定义其特征的特定属性。图分析用于确定图中对象之间连接的强度和方向。简而言之,图分析使您能够以图的形式存储、管理和查询数据。它使您可以找到人、地点、事物、事件、地点和其他人之间的关系。图分析倾向于提供对象之间的成对关系并表示图的结构特征。此外,图形在视觉上很吸引人,可以更容易地理解复杂网络的行为方式。关于图形分析的最好的部分是您可以轻松地将信息添加到图形中。

m0_57974417的博客 716

华为OD机试双机位C卷-热点网站统计 (Py/Java/C/C++/Js/Go)

华为OD机试双机位C卷 热点网站统计,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解。 华为od机考真题 - 热点网站统计。

qq_45776114的博客 779

流式计算的三种框架:Storm、Spark和Flink

我们知道,大数据的计算模式主要分为批量计算(batch computing)、流式计算(stream computing)、交互计算(interactive computing)、图计算(graph computing)等。其中,流式计算和批量计算是两种主要的大数据计算模式,分别适用于不同的大数据应用场景。 目前主流的流式计算框架有Storm、Spark Streaming、Flink三种,其基本...

bizhi5850的博客 3870

Python爬虫博客:爬取碳排放交易数据——使用最新技术的完整实现

通过上述方法,我们可以构建一个高效的爬虫,爬取碳排放交易市场的数据并进行分析。这个项目不仅展示了如何处理静态和动态网页,还提供了如何存储数据、分析数据和可视化结果的技巧。随着爬虫技术的不断进步,我们可以进一步提升爬取效率和数据分析能力。如果你希望更深入了解如何进行数据挖掘和机器学习分析,可以尝试将碳排放数据与其他经济数据结合,利用机器学习模型进行趋势预测或决策支持。

2201_76125261的博客 352

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

流式计算引擎

批量计算:收集数据-存入DB-取出分析,先将数据存进去,再处理 区别: 1. 与批量计算累积数据不同,流式计算将大数据平摊到各个结点上,连续进行小批量的传输,流动,计算完后抛弃 2. 批量计算维护一张表,对表进行各种逻辑操作,流式计算相反,须先定义好计算逻辑,提交到流式计算系统,计算逻辑在整个运行期间不可更改 3. 计算结果上,批量计算是对全部数据计算后传输结果,流式计算是每次小批量计算后...

coder_oyang的博客 2129

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

上一篇: 芒种日,图新物,6月6日见
下一篇: 论文解读|TuGraph Analytics 流式图计算论文入选国际顶会 SIGMOD
TuGraph
博客等级 码龄4年 183粉丝 43原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值