Neo4j新发布监督式机器学习工作流

第一章: Neo4j入门 图数据库,Neo4j 阅读详情

Neo4j新发布监督式机器学习工作流

作者:Amy Holder, Alicia Frame from Neo4j

 

Discover the new features in GDS 1.5, including new algorithms, more ML, and easier production deployment.

就在几个月前,我们宣布了在Neo4j数据库中具有图嵌入和ML模型目录的、基于图的机器学习。 对于大多数人(当然也包括我们)来说,将最先进的机器学习应用于图非常令人兴奋,我们也为社区部署的既有创意又丰富的应用感到特别振奋。

今天,我们宣布推出GDS 1.5版本,该版本将为您带来更多您喜欢的功能:新算法、更多的机器学习功能以及更简易高效的生产环境部署!

在最新版的Neo4j图数据科学(GDS)库中,我们提供了许多功能,同时也对部分功能进行了升级,包括两种新算法和针对最受欢迎的算法的性能提升,以及针对大型图数据的、优化的内存格式以减少内存消耗。

在此版本中,我们非常高兴为您带来ML工作流,以监督式的机器学习来预测节点标签和缺失的关系,以及用来在生产环境中实现更好协作。

使用GDS v1.5,您可以创建端到端的模型构建管道,以利用高级ML技术并不断更新图形,所有这些在Neo4j数据库中就可以实现!


Neo4j中的受监督的ML工作流

让我们逐步介绍一下Neo4j现在可以实现的工作流:结合图算法和图嵌入进行高质量的特征工程、训练监督的ML模型以“填补”缺失的节点标签或空白的关系,然后保存您的模型并与您的团队共享。

图原生特征工程

一旦将数据导入Neo4j,您要做的第一件事就是使用图算法和图嵌入来探索数据,识别趋势和异常值,并生成可用于您的预测模型的高质量特征 。在最新版本中我们引入了图嵌入,当您不确定所要寻找的确切内容时可以使用图嵌入。

小提示:图嵌入不是人类可读的,就像通过运行传统图算法可能获得的社区ID或中心度得分一样。 它是代表图各部分的一组数字,并且格式正好可用于机器学习算法。

在使用算法结果丰富了图形之后(例如中心度或社区成员身份),或者使用嵌入生成了ML形式,接下来就该训练模型了!

 

在Neo4j中训练预测模型!

对图型进行预测是做图数据科学的主要动机之一:图算法通过生成包含丰富信息的特征来帮助您做出更好的预测,而预测模型则可以通过预测缺失的节点标签、属性,或预测缺失、不可观察的关系来丰富您的图数据。

借助Neo4j 1.5版本,我们使您可以在Neo4j中训练监督、预测性的模型,从而进行节点分类和链接预测。

 

这是如何实现的?

  • 确定要构建的模型的类型--节点分类模型以预测缺少的标签或类别,或者链接预测模型以预测图形中的关系。
  • 确定要用于预测的属性。
  • 接下来Neo4j将数据分成训练集和测试集,构建各种模型,评估结果,然后返回性能最佳的预测模型。
  • 将此训练有素的模型应用于新数据(图形中未观察到的部分或新信息),以预测缺失的信息,并为这些预测提供置信度得分。

 

举个例子,假设您有一个零售交易图:客户及其购买的物品和服务。 您可以使用节点分类来预测哪些客户最有可能成为回头客或者选择不再使用您的服务。还有,您可以使用链接预测来预测客户与他们将来会购买的商品之间的新关系并给予推荐。

通过允许用户在Neo4j内训练和应用模型,现在可以提炼新的事实并持续不断的增强您的图。

 

在Neo4j中固化和共享ML模型

现在,还可以将某些ML模型固化在Neo4j中,以便将它们存储在数据库中,并在重新启动后加载,在团队之间共享模型。

训练模型后,您可以在模型目录中看到它们,该目录列出了每个可用模型,并提供了有关模型类型、配置数据和特定于模型的详细信息(元数据)。

训练完所需的模型并希望保留之后,GDS Enterprise Edition用户可以存储模型,将它们保存到磁盘上,在数据库重新启动后可用。您还可以加载和使用任何现有的存储模型(无需重新训练)。

用户还可以发布他们的模型,并与团队成员共享,因此任何使用相同数据库应用场景的同事都可以将这些模型应用于他们的数据。

使用GDS 1.5,您可以在Neo4j数据库中训练节点分类或链接预测模型,对其进行固化、管理、存储并与您使用图原生定制代码的团队进行共享。

 

结束语

到目前为止,只有少数几家领先的大科技公司有资源和能力来利用基于图的高级ML技术。 Neo4j的Graph Data Science是第一个也是唯一一个商用的企业级图原生ML产品。

如果您想了解更多有关最新的有监督的ML工作流的信息,请注册我们的在线研讨会“有监督的图机器学习“,3月11日在线进行,我们将通过展示范例解答您的疑问。

 

要获得GDS库的最新信息,请访问我们的下载中心或我们的GitHub库。

 

Neo4j图数据科学及2.0版本新功能介绍 传统的关系数据库不擅长处理关系,图模型是建立在关系之上的,因此借助图数据科学可以获得更好的数据分析和预测的结果。研究表明70%以上的看似正常行为的欺诈都是团伙欺诈,比如互相套用真实身份信息做一些看似正常的交易,这种团伙欺诈就很难被传统的欺诈检测系统发现。Neo4j是业界最早推出图算法的厂商,图算法由早期的ALGO 3.5升级为了GDS 1.0,预示着Neo4j从算法平台向图数据科学平台的演进。Neo4j的图算法还可以在运行过程中去丰富内存图的内容,比如可以将中间结果写回到内存图被其他的算法反复地调用。 阅读详情

相关推荐

第四十五章:Neo4j与机器学习

1. 背景介绍 1.1 图数据库与机器学习的融合趋势 近年来,随着大数据技术的飞速发展,图数据库作为一种新型的数据库管理系统,因其强大的关系数据处理能力和灵活的查询方式,逐渐成为数据管理领域的研究热点。与此同时,机器学习作为人工智能领域的核心技术之一,也在各个行业得到广泛应用。将图数据库

AGI×大数据,开启智能时代的认知跃迁;解码AGI,赋能数据驱动的智能革命。 201

【Neo4j】第 8 章:在机器学习中使用基于图的特征

在本章中,我们将利用您对图、图数据库以及可以从图结构中提取的不同类型的信息(节点重要性、社区和节点相似性)所学的知识,并学习如何将这些知识集成到机器中学习管道以根据数据进行预测。我们将从使用包含问卷信息的经典 CSV 文件开始,并以该数据为中心主题回顾数据科学项目的不同步骤。然后,我们将探讨如何将这些数据转换为图形,以及如何使用图形算法来表征该图形。最后,我们将学习如何使用 Python 和 Neo4j Python 驱动程序自动化图形处理。本章将涵盖以下主题:本章将使用以下工具:如果您使用的是Neo4j

sikh_0529的博客 1324

实战19:史上最全的neo4j图数据库教程:基于neo4j搭建金融风控图谱详细教程

史上最全的neo4j图数据库教程:基于neo4j搭建金融风控图谱详细教程

机器学习深度学习业余选手 1178

neo4j 机器学习_neo4j(图数据库)是什么?

不多说,直接上干货!作为一款强健的,可伸缩的高性能数据库,Neo4j最适合完整的企业部署或者用于一个轻量级项目中完整服务器的一个子集存在。它包括如下几个显著特点:完整的ACID支持高可用性轻易扩展到上亿级别的节点和关系通过遍历工具高速检索数据1. 什么是图数据库?图数据库用图来存储数据,是最接近高性能的一种用于存储数据的数据结构方式之一。1.1 一个图由无数的节点和关系组成最简单的图是单节点的,一...

weixin_39796152的博客 388

DTCC2018演讲-俞方桦-neo4j-基于机器学习和图数据库实现实时推荐.ppt

DTCC2018演讲-俞方桦-neo4j-基于机器学习和图数据库实现实时推荐-20180504

neo4j 欺诈检测 实践

用neo4j做欺诈检测的实践案例。用neo4j做欺诈检测的实践案例。

手把手Neo4j教程,超全!!!

本教程向您介绍了Neo4j的基本概念和使用方法,以及一些进阶操作。Neo4j是一种强大的图形数据库,可以帮助您更好地管理和理解您的数据。如果您需要更深入的学习和了解,建议参考官方文档或参加培训课程。

m0_72410588的博客 1万+

如何用Neo4j和Scikit-Learn做机器学习任务?

图算法不是一个新兴技术领域,在开源库中已经有很多功能强大的算法实现。近两年,业内的学者与科学家都在积极探索可以弥补深度学习不可解释性,无法进行因果推断的这个缺陷,而图神经网络(GNN)成为备受关注和期待的“宠儿”。随着学界和业界越来越关注GNN,各种新工作不断被提出,基于图神经网络的框架随之产生,如大家现在都已经熟悉的DGL,两大深度学习框架PyTorch和TensorFlow中也开始支持相应的功能,大家对图(Graph)、图计算、图数据库、图机器学习等研究的关注度越发高涨。基于图数据的优秀性质,吸引越来越多的企业在基于图数据的机器学习任务中开始投入研究与使用,将图数据与机器学习算法结合,弥补

图数据库Neo4j实战(全网最详细教程)

知识图谱,作为人工智能和语义网技术的重要组成部分,其核心在于将现实世界的对象和概念以及它们之间的多种关系以图形的方式组织起来。它不仅仅是一种数据结构,更是一种知识的表达和存储方式,能够为机器学习提供丰富、结构化的背景知识,从而提升算法的理解和推理能力。在人工智能领域,知识图谱的重要性不言而喻。它提供了一种机器可读的知识表达方式,使计算机能够更好地理解和处理复杂的人类语言和现实世界的关系。通过构建知识图谱,人工智能系统可以更有效地进行知识的整合、推理和查询,从而在众多应用领域发挥重要作用。

专注 AI、大数据、Python、爬虫、数据分析可视化、机器学习、推荐算法、知识图谱、大模型应用与全栈系统开发,长期沉淀真实项目案例、源码解析、系统设计、部署经验与工程化实践,分享可运行、可复用、可落地的技术方案。 8万+

OpenCV 开闭运算

开运算和闭运算是将腐蚀和膨胀按照一定的次序进行处理。 但这两者并不是可逆的,即先开后闭并不能得到原来的图像。 开运算 开运算是先腐蚀后膨胀,其作用是:分离物体,消除小区域。特点:消除噪点,去除小的干扰块,而不影响原来的图像。 闭运算 闭运算与开运算相反,是先膨胀后腐蚀,作用是消除/“闭合”物体里面的孔洞,特点:可以填充闭合区域。 cv.morphologyEx(img, op, kernel) img: 要处理的图像 op: 处理方式:若进行开运算,则设为cv.MORPH_OPEN,若进行闭

꧁༺ʚvv༒catɞ༻꧂的博客 949

DNF单机版搭建全攻略:从零开始到局域网联机(含常见问题解决)

本文提供详细的DNF单机版搭建指南,从环境配置到局域网联机设置,涵盖服务端安装、数据库配置及常见问题解决方案。适合新手和有经验的玩家,帮助快速搭建专属游戏服务器,重温经典游戏体验。

weixin_30832143的博客 847

Neo4j与Airflow集成:大数据图分析工作流

配置了Airflow与Neo4j的连接;写了一个DAG,实现了数据抽取→转换→导入→分析→导出的全流程自动化;优化了批量导入、错误重试、结果导出等生产环境需要的功能。最好的学习方式是实践。用本文的样例代码,跑通一个简单的工作流;替换成自己的数据源(比如CSV文件代替MySQL);修改分析任务(比如计算用户的度数、找出最热门的商品类别)。如果遇到问题,欢迎在评论区留言,我会尽力解答!附录:完整DAG代码(把上面的代码片段整合起来,就是完整的DAG文件,可直接运行)# 默认参数。

软件工程实践的博客 729

硬件基础(4):(6)高精度ADC设计中模拟地与数字地的划分与连接

在实际 PCB 设计中,**接地与布线**对于获得干净的参考电压和高精度 ADC 测量至关重要。下面详细阐述**如何在硬件层面减少数字噪声耦合到模拟电路、保障参考电压的稳定性**。

FCZlll的博客 2645

如何用Neo4j和Scikit-Learn做机器学习任务?| 附超详细分步教程

作者 | Mark Needham译者 | Tianyu、Shawnice编辑 | Jane出品 | AI科技大本营(ID:rgznai100)图算法不是一个新兴技术领域,在开源库中已...

AI科技大本营 4218

用Matlab系统辨识工具箱搞定温控系统建模:从阶跃响应到传递函数(附完整代码)

本文详细介绍了如何使用Matlab系统辨识工具箱进行温控系统建模,从阶跃响应数据采集到传递函数参数辨识的全过程。通过实际案例和完整代码,帮助工程师快速掌握PID控制参数整定技巧,提升温控系统设计效率。特别适合单片机开发者和自动化控制工程师参考。

weixin_30736301的博客 309

PSIM仿真实战:反激电源从设计到调试的完整流程(附短路保护配置)

本文详细介绍了使用PSIM仿真工具进行反激电源从设计到调试的完整流程,包括变压器参数设计、功率器件选型、动态特性调试以及短路保护配置。通过实战案例和仿真技巧,帮助工程师提前暴露并解决设计中的常见问题,如负载突变、输入电压波动和短路保护失效等,显著降低硬件试错成本。

weixin_29216353的博客 243

SpringBoot+Neo4j+Vue+Es支持全文检索、工作流审批、知识图谱的数字知识库系统(源码分享)

针对这些文档性的东西,手工纸质化去管理是非常消耗工作量的,并且纸质化查阅难,易损耗,所以电子化管理显得尤为重要。精准全面的搜索能力,统一化管理,此套知识库管理系统以科学的方法论并且通过实际项目锤炼做到了很好的赋能效应,解决了企事业数字资产的良性全生命周期管理。可根据文档的任意关键字进行全文检索知识,效果如同“百度一下”,简单快速的收集到自己所要查询的知识,解决了纸质化时代的繁琐流程。知识图谱可视化归类,支持同作者文档的采集,同类型文档的采集,做到智能化、网格化推荐。4. neo4j知识图谱,智能分析。

2301_81867536的博客 446

自适应滤波-----LMS(Least Mean Square)算法

自适应滤波的意义所在 自适应滤波器解决非平稳的过程,因为实际信号的统计特性可能是非平稳的或者是未知的。 自适应滤波器的特点: 1.没有关于待提取信息的先验统计知识 2.直接利用观测数据依据某种判据在观测过程中不断递归更新 3.最优化 自适应滤波分类: 处理器的结构划分:横向结构、格型结构 重复一次计算自适应需要的数据划分:成批处理法、递归处理法 按调节算法...

heda3的博客 10万+

一款支持全文检索、工作流审批、知识图谱的企事业知识库

一款全源码,可二开,可基于云部署、私有部署的企业级知识库云平台,一款让企业知识变为实打实的数字财富的系统,应用在需要进行文档整理、分类、归集、检索、分析的场景。后端技术栈:springboot,activiti(工作流引擎),ElasticSearch,redis,neo4j(知识图谱)助力企业知识资产有效沉淀和利用,避免随文档负责人变动而重复制作,无纸化数字管理更加科学与绿色,为企业健康发展赋能。文章拟写,提交,审阅,发布,全过程审核机制。

weixin_41039677的博客 1041

符合DO-178C和DO-331的机载软件研制体系

DO-178C的核心要求软件开发生命周期:DO-178C定义了软件开发的生命周期过程,包括需求获取、设计、实现、验证和确认等。它为机载软件开发提供了一套系统化的指导,确保在开发过程中考虑安全性和可靠性。安全等级(DAL):根据系统的重要性,DO-178C将软件划分为不同的开发保障等级(DAL A到E),DAL A的要求最为严格,适用于关键安全功能,而DAL E的要求较低,适用于非关键功能。DO-178C在非基于模型软件开发中的应用。

qq_41854911的博客 978

AE(自动曝光)调试策略:曝光曲线设计与过曝控制

自动曝光(AE, Auto Exposure)系统是图像质量控制链路中的核心模块之一,其性能直接决定了成像亮度是否稳定、细节是否完整、场景切换是否自然。在现代移动终端影像系统中,AE 不仅需要适应不同光照强度和复杂环境,还需兼顾人脸优先、HDR触发、视频帧率控制等多目标优化需求。本文基于高通 Snapdragon 和 MTK Dimensity 等主流平台的调试经验,系统梳理了 AE 模型设计原则、曝光曲线配置、测光策略选择与过曝抑制机制,并结合典型实战案例,提供可复制的工程落地路径。

努力分享一些人工智能、计算机视觉、影像等相关的知识干货! 3092

深度学习如何做特征工程?

“深度能自动获取特征”只是对某些领域而言的。实际上深度学习只是能自动对输入的低阶特征进行组合、变换,得到高阶特征。对于图像处理之类的领域来说,像素点就可以作为低阶特征输入,组合、变换得到的高阶特征也有比较好的效果,所以看似可以自动获取特征。 在其他领域的情况就不是这样了。例如自然语言处理中,输入的字或词都是离散、稀疏的值,不像图片一样是连续、稠密的。输入原始数据进行组合、变换得到的高阶特征并不是

木东的博客 5712

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

集成ES全文检索、Neo4J知识图谱、Activiti工作流的知识库管理系统

一款全源码,可二开,可基于云部署、私有部署的企业级知识库云平台,一款让企业知识变为实打实的数字财富的系统,应用在需要进行文档整理、分类、归集、检索、分析的场景。后端技术栈:springboot,activiti(工作流引擎),ElasticSearch,redis,neo4j(知识图谱)助力企业知识资产有效沉淀和利用,避免随文档负责人变动而重复制作,无纸化数字管理更加科学与绿色,为企业健康发展赋能。文章拟写,提交,审阅,发布,全过程审核机制。

weixin_41039677的博客 1175

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

neo4j 查询同一节点的两个上级_知识图谱里的知识存储:neo4j的介绍和使用

一般情况下,我们使用数据库查找事物间的联系的时候,只需要短程关系的查询(两层以内的关联)。当需要进行更长程的,更广范围的关系查询时,就需要图数据库的功能。而随着社交、电商、金融、零售、物联网等行业的快速发展,现实世界的事物之间织起了一张巨大复杂的关系网,传统数据库面对这样复杂关系往往束手无策。因此,图数据库应运而生。图数据库(Graph database)指的是以图数据结构的形式来存储和查询数据的...

weixin_39793319的博客 770

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

数据结构-Java实现-树

二叉查找树 AVL树 树的遍历

Hello code! 497
上一篇: GRAND Stack - 快速开发Neo4j数据库应用的全栈框架
下一篇: NeoDash:无代码快速创建Neo4j仪表板的工具
俞博士
俞博士 领域专家: 数据库技术领域 领域专家: 数据库技术领域 业界专家认证 业界专家认证
博客等级 码龄9年 2326粉丝 72原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值