深入浅出的实践大数据DAG图

使用X6在Vue3.x+vite2.x实现DAG图与拓扑排序
原创 已于 2023-04-17 11:00:24 修改 · 2.2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

于 2023-04-17 10:52:27 首次发布
文章介绍了如何利用开源图编辑引擎X6在Vue3.x和vite2.x环境下构建DAG图，包括注册自定义节点和边，以及处理图的有向无环特性。此外，还提出了实现DAG图多顶点拓扑结构执行任务的事件订阅方法，作为拓扑排序算法的一种替代思路，并分享了在vue3.x+vite2.x中使用X6可能遇到的问题和解决方案。

    前言   

DAG是有向无环图（Directed Acyclic Graph）的简称。在大数据处理中，DAG计算常常指的是将计算任务在内部分解成为若干个子任务，将这些子任务之间的逻辑关系或顺序构建成DAG（有向无环图）结构。

X6在DAG图中的实践

X6 是一款开源的图编辑引擎，vue3.x+vite2.x是目前较火的前端开发组合，现在用他们来实现一个DAG图；

X6分为画布（Graph）、基类（cell）、节点（node）、边（edge）、连接桩（port）等元素，以及图的相关操作（如交互监听、元素操作、渲染等），因此只需要掌握画布、节点、边的增删改查，使用x6就轻松加愉快了。

基于x6封装一个类GraphCroe

使用vue组件注册x6自定义节点

注册x6自定义边 

最低0.47元/天 解锁文章
数新智能
关注
博客
CyberAI多模态数据平台焕新升级！七大核心功能解锁高效管理新体验
12-01 705
数新智能一站式多云AI原生数智平台升级，新增多模态数据管理功能。
博客
The Life of a Read/Write Query for Apache Iceberg Tables
11-10 1115
本文以读写查询生命周期为核心，解析 Iceberg 表的处理逻辑。当前快照中已经存在的 manifest file，跟新的一起，写入到 manifest list中，以及manifest file 的路径和统计信息。在这个 manifest list中，包含了所有 manifest file 的路径，以及每个文件的信息，如每个分区的 lower和upper等。merge-on-read，生成新的更新/删除/插入 数据文件，读取时会忽略旧的文件，只有更新的数据在内存中，占用内存会减少。
博客
Data engineering at Meta
11-07 793
揭秘 Meta 如何通过 UPM 流水线管理、分析库集成及自动化监控，构建支撑千亿级日活的高效数据链路，展现湖仓架构、流批融合及云原生设计的工程化落地经验，为企业数据智能建设提供可复用的技术蓝图。facebook 每天会产生 几百P 的数据，用户行为，代码变更，这个框架就用来实时分析这种变化，并提供开发人员展示。每个表都按照 ds 分区，也就是 YYYY-MM-DD 分区的，一般是数据产生的时间，也有其他方式分区的。内部维护了一个分支，做了一些定制化修改，也会定期合并开源分支，同时也会提交修改到开源。
博客
Data Ingestion: Architectural Patterns
10-26 1014
在数据驱动的时代，数据摄取是构建高效数据生态系统的基石。Data Integration Challenges，因为是一个数据库来管理 OLAP、OLTP，如果数据源种类很多，就不好处理，需要跨数据源查询，带来复杂度。Handling Push Failures，pull失败了只要重试即可，但是push失败了 分析平面感知不到，需要设计高可用，高并发的 push流系统。本质上来说，data ingestion 就是把运营平面的数据，同步到 分析平面中，这样就可以解锁 分析平面的所有能力了。
博客
“数”风流人物｜从手搓Hadoop到智能数据平台构建，数新智能CTO原攀峰的“自我突破”
10-20 68
本文是数新智能 CTO 原攀峰接受 IT168 专访的完整内容，字里行间藏着我们对 “智能数据平台” 的核心思考与落地答案。无论你是正在搭建数据平台的技术管理者，还是想探索 AI 时代数据价值的从业者，这篇深度访谈都值得一读。
博客
BTrace
09-23 409
从动态追踪工具如 Btrace、Arthas 的 retransform 能力，到 JDB 调试，再到 JDK 内置的 VisualVM、JFR，以及 JProfiler、MAT 等性能分析工具，还有分布式监控工具、火焰图等，它们共同助力开发者高效定位问题、优化系统性能。· arthas 使用了：Instrumentation.retransformClasses()，会替换整个类，风险高。· btrace 使用了：java.lang.instrument，只是在关键函数中注入了额外信息，风险低。
博客
云环境中的日志收集和处理方案
09-15 691
在云环境中，高效的日志收集与处理是系统监控和运维的关键。本文围绕《云环境中的日志收集和处理方案》展开，先介绍日志收集的两种方式，再聚焦处理环节，探讨写入 kafka、共享存储、S3 等路径，分析使用 raft 组日志集群及 NewSQL 的方案，最后结合 Spark 端调度进行总结，为云日志管理提供多维度技术参考。SPARK_EXECUTOR_ID ，driver端需要手动设置，executor 是自动设置上的。根据当前的节点 hash，定位到环的一个为止，然后顺时针处理，这样每段由不同节点处理。
博客
PyTorch
09-09 827
在深度学习领域，PyTorch 以动态图机制和简洁易用的特性，成为科研与工程落地的热门框架。本文围绕《PyTorch》展开，从基础操作切入，通过 numpy 与 tensor 实例演示数据处理核心逻辑，深入解析 Torchvision 数据加载、图像处理及常用功能。结合卷积原理、损失函数设计、梯度计算等关键模块，详解网络构建与优化方法，搭配可视化工具与分布式训练技巧，为读者呈现从基础语法到高阶应用的完整知识图谱，助力快速掌握 PyTorch 核心技术栈。
博客
OpenLDAP研究
09-04 527
在企业目录服务领域，OpenLDAP凭借开源、灵活的特性备受青睐。本文围绕《OpenLDAP研究》，从剖析其底层架构入手，详解实用命令与核心配置信息，展示web控制台便捷管理方式，还会梳理相关文档资源，助你全面掌握OpenLDAP的运行逻辑与使用技巧。这里存储的 kerberos 的 keytab 实际是。经过了 ASN.1 加密，包含了一些其他信息。树状的层级结构，比如组织的划分。按照 DNS 来划分层次。OpenLDAP系列文档。再做了 base64。
博客
LevelDB SSTable模块
08-25 515
如果写成功，则将 pending_index_entry 设置为true，后面再写新的块，Add 流程的时候就会用到这个变量。匹配的话，则读取这个数据块，跳转到对应的位置，具体处理逻辑是一个回调函数，回调函数内处理 key，value。上一个块的最后一个 key，和当前要写入的(也就是后面一个块的第一个 key)，计算这两个 key非分割。先 new 一个固定大小的buffer，然后读进去，再 CRC检查，并确定压缩类型，看是否要解压。分割的key就是 “the r”，正好比"the qu…
博客
Agent 狂飙时代，真正的 “限速器” 藏在数据里：为何说Data&AI 数据基础设施是泥泞路到高速路的密钥
08-24 598
打造面向业务的数据服务与资产门户： 构建数据中台体系，将底层数据加工为易用的主题数据模型和数据服务，建立数据资产门户，为业务方提供数据目录、自助分析工具和统一的数据服务出口，赋能业务团队进行探索式分析和数据创新，真正实现数据驱动的业务增长。同时，高质量、易访问的数据资产更好地赋能了业务团队的自助分析和精细化运营，直接推动了海外业务收入的增长。为落实集团数字化战略，打破内部数据壁垒，充分挖掘数据价值，并通过数据赋能业务增长，集团构建了中心化的一站式数据开发治理平台，以支撑战略目标的实现。
博客
LevelDB 辅助工具类
08-18 738
如果编码值 1 « 7 <= v < 1 « 14，需要两个字节编码，第一个字节使用1 + v的低7位，表示需要查看下一个字节，下一个字节使用0 + v的高7位，表示不需要查看下一个字节；首先调用 Add，将 key进去，将所有的key直接拼在一起，比如 aa、bb、cc、dd，拼在一起就是aabbccdd，中间没有分割。如果小于等于1KB，则分配一个4KB的块，插入到vector中，从4KB的块上分配相应的内存；一开始的插入会放到 lru 链表中，如果 ref++，则会放到 in_use 链表中。
博客
LevelDB 多版本和压缩
08-11 519
VersionSet是一个版本集，里面保存了Version的一个双链表，其中有一个Version是当前版本，因为只有一个实例，还保存了其它的一些全局的元数据，Dummy Version是链表头；最后利用两层的输入文件，在不扩大level i+1输入文件的前提下，查找level i层的有key重叠的文件，结果为蓝线标准的文件，构成最终的输入文件；利用level i层的输入文件，在level i+1层找寻有key重叠的文件，结果为绿线标注的文件，构成level i，i+1层的输入文件；
博客
哈尔滨工业大学教授苗东菁：AI Agent 与多模数据库
08-06 724
在这种方式下，我们认为随着智能体服务的实例越来越多，有7千个、8千个、1万个、100万个，数据更新的压力以及多模型的更新的压力，跟现在会是大不相同的，因为现在很多场景人工去生成数据的速度肯定不如智能体的速度。在这里面，还有在我们看到的是文档还有订单的表达的数据，还有在智能体的经验里检索的时候，有RAG的数据，同时在智能体工作的时候，还会有对这些数据反向的更新。我们在调研中看到一些资料，举一个非常有意思的真实的例子，尽管它从某种意义上来讲，还不算是特别理想的智能体，更多的还是智能工作流。
博客
Building An Elastic Query Engine on Disaggregated Storage
08-04 789
本文探讨了在分离式存储架构上构建弹性查询引擎的关键技术。针对传统shared-nothing架构的资源利用率低、弹性不足等问题，提出了基于云环境的存储计算分离方案。系统采用四层架构：中心化服务层、计算层、分布式临时存储层和持久数据存储层。重点研究了临时存储系统设计（采用内存-SSD两级缓存）、资源弹性策略（延迟一致性hash）及多租户支持方案。实验数据显示75%的只读查询缓存命中率超过80%，验证了架构有效性。文章还讨论了未来优化方向，包括更细粒度的资源调度和多租户隔离机制。该研究为云环境下的弹性数据查询提
博客
中国计算机学会杭州分部副主席朱霖潮：多模态大模型的研究进展与未来
08-03 761
这种交互模式本质上构建了一个动态演进的Token处理体系：环境状态被编码为输入Token，模型生成的行动指令作为输出Token，而环境反馈又形成新的输入Token，构成持续流动的交互流。技术演进表明，新一代模型正从早期的单一能力专精（如GPT系列的语言理解、DALL·E的图像生成）发展为多模态协同的智能体系，其核心优势在于实现了意图理解与内容创作的无缝衔接。相较于单模态的理解或生成任务，这种多智能体协作系统需要处理更复杂的时空约束和资源分配问题，其技术难点主要在于实时决策的准确性和多主体协调的一致性保障。
博客
华为云云服务高级顾问叶正晖：华为对多模态大模型的思考与实践
08-03 917
我们大模型的架构的趋势，还是要从以前的单一模态走向多模态大一统，在未来的趋势下，从2021年的Vision Transformer到2022年的Whisper大模型再到2024年的Sora，整个过程里面从以前的视觉到语音到混合，再到生成大模型的一个统一。我们把视觉认知专项打开看一下，其实视觉认知专项在原来的基础多模态大模型中，经过海量的数据的训练，10000+通用及行业实用标签，包括场景标签，关系标签、行为标签都在这里面。华为的盘古多模态大规模的模型，它是一个层次融合的一个架构。三是全模态的大模型。
博客
数新智能 CTO 原攀峰：DataCyber 面向 AI 时代的多模态数据湖设计与实践
08-01 1580
这种模式的重心聚焦在数据的加工处理链路，但缺乏统一管理的机制。DATA+AI混合计算负载：在计算层面，需要引入分布式的计算框架，针对不同类型数据、不同计算场景，需要不同的计算框架进行支持，解决Data和AI不同类型的计算负载任务，不同类型的多模态数据能够基于主流的开源框架，提供统一的平台支持数据和AI的分析。统一元数据管理：统一元数据是多模态数据管理的基础服务，通过采集元数据，建立元数据标准，可以实现不同模态数据的统一描述和关联关系，例如为图像数据添加文本标签，从而打破数据孤岛，促进跨模态的检索与分析。
博客
AWS高级解决方案架构师黄海波：GenAI 时代非结构化数据处理的实践与趋势洞察
07-31 1073
这和我们设计系统时处理结构化数据的情况完全不同 ，做结构化数据时，我们会先做数据建模，梳理出核心的实体，再给这些实体设定相应的属性。举个具体的例子：上海市第九人民医院，在数据里的名称就各式各样，有时写作 “九院”，有时是 “上海第九医院”，还有其他不同的表述，但实际上都指向同一家医院。但很多企业的内部数据，其实并没有被纳入大模型的训练中。比如常见的 Excel 表格，里面的数据格式往往不规范，如果直接用简单的规则将这些数据存入数据库，后续很难对其进行有效分析，也难以通过数据认证来确保信息的准确性。
博客
“多模态数据融合技术创新与落地实战”活动于数新智能圆满收官，产学研共探智能时代新路径
07-30 859
7月25日，由中国计算机学会（CCF）、CCF CTO CLUB联合数新智能共同主办的“多模态数据融合技术创新与落地实战”活动在杭州圆满落幕。本次活动汇聚了学界权威、产业精英与技术专家，围绕多模态大模型、AI Agent、非结构化数据处理、多模数据库等前沿议题展开深度研讨，为推动多模态数据融合技术的创新突破与产业落地搭建了高效交流平台。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值