neo4j导入数据的不同方式比较

最新推荐文章于 2025-04-05 17:35:19 发布
转载 最新推荐文章于 2025-04-05 17:35:19 发布 · 1.4k 阅读 · 3 ·
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s/ZYqDSx333nTCYBpHydfYMg

本文详细对比了Neo4j中六种常见的数据导入方式，包括Cyphercreate、Cypherloadcsv、neo4j-import、BatchInserter、batch-import及apoc等工具的适用场景、导入速度与优缺点，帮助读者根据实际需求选择最佳导入策略。

本文转自这里，更多内容请点击原文查看

参考：https://my.oschina.net/zlb1992/blog/918243

https://blog.youkuaiyun.com/weixin_37947156/article/details/77442926

官方文档：https://neo4j.com/blog/loading-sql-neo4j-like-magic/

https://neo4j.com/developer/guide-importing-data-and-etl/

常见数据导入方式概览

 

(1) Cypher create 语句，为每一条数据写一个create

(2) Cypher load csv 语句，将数据转成CSV格式，通过LOAD CSV读取数据。

(3) 官方提供的neo4j-import工具，未来将被neo4j-adminimport代替

(4) 官方提供的Java API    BatchInserter

(5) 大牛编写的 batch-import 工具

(6) neo4j-apocload.csv +apoc.load.relationship

(7) 针对实际业务场景，定制化开发

 

这些工具有什么不同呢？速度如何？适用的场景分别是什么？

 

create语句

load csv语句

neo4j-import

BatchInster

batch-import

apoc

适用场景

 

 

初始化导入

增量更新

 

初始化导入

 

初始化导入

 

初始化导入

增量更新(有限制)

 

增量更新

导入速度

很慢1000/s

数k /s

数w/s

数w/s

数w/s

数k/s

实际测试

无

9.5k/s

(节点+关系)

12w/s

(节点+关系)

1w/s

(节点+关系)

1w/s

(节点+关系)

4k/s(1亿数据上增量更新) 1w/s(百万数据上增量更新)

优点

1.使用方便

2.可实时插入

1.官方ETL工具

2.可以加载本地/远程CSV

3.可实时插入

1.官方工具

2.占用资源少

1.官方API

1.可以增量更新

2.基于BatchInserter

1.官方ETL工具

2.可以增量更新

3.支持在线导入

4.支持动态传Label  RelationShip

缺点

1.速度慢

2.处理数据，拼CQL复杂

1.导入速度较慢

2.不能动态传Label  RelationShip

1.需要脱机导入 停止Neo4j数据库

2.只能用于初始化导入

1.需要脱机导入 停止Neo4j数据库

2.需要在JAVA环境中使用

 

1.需要脱机导入 停止Neo4j数据库

1.速度一般

 

注释：本次测试使用的id(不是Neo4j id)类型是String，为uuid，如果同一Label下数据不超过2^32，可以用int类型

 

结论

 

根据实际情况选用最好的方式

 

(1)  neo4j-import导入速度快，但是要求是空库，导入时要停止neo4j，也就是脱机导入，而且你要提前处理好数据，数据最好不要有重复，如果有重复，可以导入时跳过，然后根据bad.log来查看或者修正这部分数据

 

(2)  batch-import可以增量导入，但是要求导入时停止neo4j数据库(脱机导入)，而且增量更新的数据不会和库里存在的数据对比，所以要求数据全是新的，否则会出现重复数据

 

(3)  load csv比较通用，而且可以在neo4j数据库运行时导入，但是导入速度相对较慢，要提前整理好数据，而且不能动态创建 Label RelationShip

 

(4) apoc挺好用的，可以动态创建Label、RelationShip，但是速度一般

 

结论2：

如果项目刚开始，想要将大量数据导入数据库，Neo4j-import是最好的选择。
如果数据库已经投入使用，并且可以容忍Neo4j关闭一段时间，那么Batch Import是最好的选择，当然如果你想自己实现，那么你应该选择Batch Inserter
如果数据库已经投入使用，且不能容忍Neo4j的临时关闭，那么LOAD CSV是最好的选择。
最后，如果只是想插入少量的数据，且不怎么在乎实时性，那么请直接看Cypher语言。
 

Neo4j-数据导入
diffiii
07-02 1448
从文件中读取第一行作为参数名，只有在使用了该参数后，才可以使用line.name这样的表示方式，否则需使用line[0]的表示方式。首次导入node时一般用create语句，后面新增导入时用merge语句，防止重复导入。(3).如果字符串中有双引号，需要把双引号替换成"“，再在字符串的前后两端加上”增量新增的节点需要增加索引，如果全量已经增加了索引，此处无需增加。(2).如果字段串中有逗号,需要给字符串的前后两端加上"，注意：导出csv不需要包含表头，增量和全量统一一种格式即可。1.1.3.3 关系节点。
neo4j 使用之数据导入初探
csl136520054的博客
11-16 3670
平台：windows10 neo4j下载安装（较为简单，不做赘述）参考： 数据导入： 一、通过csv文件导入： 导入关系： LOAD CSV FROM "file:/index_rel.csv" AS row MATCH (p:IndexWh),(o:IndexWh) WHERE p.id = row[0] and o.id=row[1] CREATE (p)-[r:IndexRel{type:row[2]}]->(o); 导入数据： load csv from "file:///index_wh.
neo4j批量数据导入
03-01
neo4j基于嵌入式的测试数据生成与导入源代码 数据生成代码在源代码文件夹src/test/java中
neo4j 学习记录（二）
xforce16的博客
10-18 848
Neo4j 导入数据的几种方式对比 1.  遇到的问题   在使用Neo4j时遇到一个问题，需要导入上百亿数据(同时导入节点和关系)，想找一个最合适的方案来导入数据。于是就想测测各种导入方式的效率以及成本。     2.  常见数据导入方式概览   (1) Cypher create 语句，为每一条数据写一个create (2) Cypher load csv 语句，将数据转成C...
【Ne4j图数据库入门笔记2】数据导入详解
陈小哥cw
04-19 2642
如上所述，某些应用程序有特殊的格式设置，使文档看起来更美观，但这些隐藏的额外代码是普通文件阅读器和脚本无法处理的。组的第一个文件或单独的单行文件中的标题行是必需的。对于将任何类型的数据导入到任何系统，数据质量也可能是一个问题，因此本节将介绍其中的一些潜在困难和克服这些困难的方法。可以跳过 CSV 文件中的 null 或空字段，或将其替换为 LOAD CSV中的默认值。为了改进在图形中插入或更新唯一实体（使用 MERGE 或 MATCH 更新），您可以为计划合并或匹配的每个标签和属性创建声明的索引和约束。
Neo4j导入数据之JAVA JDBC
稻草人
02-22 1080
neo4j数据库导入数据
Neo4j数据导入与可视化
01-27
本文重点介绍了Neo4j基础，Neo4j属性图数据模型，使用 本文来自简书，由火龙果软件Anna编辑、推荐。 Neo4j是一个高性能的NoSQL图形数据库，它将结构化数据存储在网络上而不是表中。它是一个嵌入式的、基于磁盘的、...
neo4j导入CSV文件
u012625575的博客
07-31 2515
它以行为单位组织数据，每行数据由一系列字段组成，字段之间通常使用逗号进行分隔（也可以使用其他字符，如制表符或分号）。CSV文件因其简单易懂、易于编辑和处理的特点，被广泛应用于数据交换和存储，特别是在不同系统或应用程序之间导入导出数据时。（来源于百度搜索）excel文件----->另存为-----> 文件格式选择csv文件即可。今天在操作的时候意外发现了一个txt文件导入excel并按照txt文件中的分割符将文本内容分隔都不同的列的方法。
neo4j常用的数据导入方式
好好学习,天天向上的博客
03-03 2815
目前常用的数据导入方式对比如下： 1、create语句 CREATE (:label {property1:value, property2:value, property3:value} ) 2、load csv 导入的文件必须是csv文件，位置可以是本地的，或通过http、https、ftp等url指定位置。neo4j中关于导入文件的设置是dbms.security.allow_csv_import_from_file_urls，默认为true；而导入本地文件的位置通过dbms.directorie
Datawhale 知识图谱组队学习 之 Task 3 Neo4j图数据库导入数据
Andrew_zjc的博客
01-10 2064
Datawhale 知识图谱组队学习 之 Task 3 Neo4j图数据库导入数据 文章编写人：芙蕖 github 地址： 特别鸣谢：QASystemOnMedicalGraph 目录 Datawhale 知识图谱组队学习 之 Task 3 Neo4j图数据库导入数据 目录 一、引言 二、Neo4j简介 2.1 基本概念 2.2 索引 2.3 Neo4j的优势 2.4 环境部署 2.4.1 运行环境 2.4.2 neo4j安装及使用 三、Neo4j 数据导入 3.1 数据集简介 3.2
Neo4j Import 数据导入
sinat_25479505的博客
07-11 1万+
使用import导入数据时需要注意CSV文件分为两种节点和关系两种数据规范。节点CSV文件数据格式如下： 图1. 节点CSV文件数据格式 节点CSV文件数据格式从左到右分为命名标识、属性信息、标签信息三个部分。命名标识类似于唯一标识，它的类型是ID类型，用户可以为命名标识自定义名称，在准备数据时，每一条数据的命名标识必须是惟一的，不能出现重复的标识信息，否则会影响关系信息的...
Neo4J几种数据导入方式的效率对比
何源浩的博客
11-07 7022
1、Embed Neo4J 2、REST API 3、Batch import CSV 正在更新….
Neo4j学习笔记(三) 导入数据
半虹小站
07-04 1591
这篇文章主要讲解如何批量导入 CSV 数据到 Neo4j 数据库
Neo4j:使用neo4j-admin import方式将数据导入neo4j
qq_44262220的博客
03-29 1461
2 修改neo4j的conf文件，主要是将自己新建的数据库名放进去，这里我import里新建的数据库名是graph.db。注意，dbms.default_database=neo4j 意思是默认数据库名为neo4j，在这句下面增加一条dbms.default_database=graph.db（你也可以换成你想换的数据库名字，总之格式是xxx.db），注意将前面的#去掉，最后保存。1 进行导入操作前，一定要把csv文件都放在neo4j安装路径中的import文件下，以我的import文件夹路径为例。
neo4j的导出与导入（cypher文件版本，纯保姆教学）
最新发布
qq_62311925的博客
04-05 1470
我们使用neo4j可能会遇到这样的情况：想要把图数据库备份到另一个数据库中，但我们使用的是neo4j社区版，并不能同时保存多个数据库。这时候我们就需要把neo4j的节点和关系进行导入和导出，而不需要覆盖原来数据库的数据。下面进行演示：这里以neo4j的桌面版（1.6.1，5.24.0）、服务器neo4j-community-2025.01.0为例。
Neo4j数据导入的几种方式总结
qq_42231574的博客
02-11 8507
1. 通过Cypher语法直接创建 该方法适合于数据量小的情况下： 例如： create(n:ability {name:"沟通"}) create(m:train {name:"培训"}) create(n)-[r0:has]->(a:method {name:"交流"}) create(n)-[r1:has]->(b:method {name:"会议"}) create(n)-...
Deep Dive into Neo4j 3.5 Full Text Search
WGH100817的博客
08-22 589
In this blog we will go over the Full Text Search capabilities available in the latest major release of Neo4j. Contrary to our usual blogs, the content will rather focus on...
neo4j批量插入效率低问题解决
weixin_47874230的博客
08-21 1563
【代码】neo4j批量插入效率低问题解决。
Neo4j笔记（三）Neo4j批量导入数据
热门推荐
haveanybody的博客
05-24 1万+
Neo4j批量导入提供了三个工具：load csv、neo4j-admin import、apoc。本文只介绍前两个方法，也是使用最多的方法，关于apoc的内容在后面介绍。load csv和neo4j-admin import的主要区别就是 load csv是在线导入方式，即Neo4j不需要停止运行，支持增量导入数据，本质是cypher语言；neo4j-admin import 导入数据必须是生成...
neo4j导入数据
03-31
### Neo4j 数据导入方法 在使用 Neo4j 进行数据导入时，需遵循特定的操作流程以确保数据能够成功加载至数据库中。以下是关于如何在 Neo4j 中导入数据的具体说明： #### 1. 停止 Neo4j 服务 为了安全地执行数据导入操作，在开始之前需要停止正在运行的 Neo4j 服务。可以通过以下命令实现这一目标： ```bash sudo neo4j stop ``` 此步骤对于防止数据冲突以及保障导入过程的安全性至关重要[^1]。 #### 2. 准备数据文件 在进行实际的数据导入前，应准备好待导入的数据文件。这些文件通常包括节点（Nodes）和关系（Relationships）。常见的文件格式为 CSV 文件，其中每列代表不同的属性或字段。例如： - 节点文件可能命名为 `product_clean_admin1.csv` 或 `consumerinfo_admin.csv`。 - 关系文件则可以是类似于 `relation_combine.csv` 的结构化文档。 确保所有相关文件已放置于 Neo4j 安装目录下的适当位置，通常是 bin 文件夹内[^3]。 #### 3. 使用 `neo4j-admin import` 工具 Neo4j 提供了一个强大的命令行工具——`neo4j-admin import` 来批量处理大规模数据集的导入工作。其基本语法如下所示： ```bash ./neo4j-admin import \ --database=neo4j \ --nodes=<path_to_node_file_1>,<path_to_node_file_2>... \ --relationships=<path_to_relationship_file> ``` 具体参数解释如下： - `--database`: 指定要使用的数据库名称，默认情况下为 `neo4j.db`。 - `--nodes`: 列举用于创建节点的所有 CSV 文件路径。 - `--relationships`: 明确描述节点间关联性的 CSV 文件地址。 附加选项还包括但不限于： - `--skip-duplicate-nodes`: 当检测到重复节点时跳过它们而不抛出错误。 - `--skip-bad-relationships`: 遇见不合法的关系记录时忽略而非终止整个进程。 #### 示例代码片段 假设存在三个节点文件 (`product_clean_admin1.csv`, `consumerinfo_admin.csv`, 和 `city_admin.csv`) 及一个关系文件 (`relation_combine.csv`) ，那么完整的导入指令可写成这样： ```bash ./neo4j-admin import \ --database=neo4j \ --nodes=/path/to/product_clean_admin1.csv,/path/to/consumerinfo_admin.csv,/path/to/city_admin.csv \ --relationships=/path/to/relation_combine.csv \ --skip-duplicate-nodes=true \ --skip-bad-relationships=true ``` 以上命令将按照指定配置完成相应数据的载入动作。 ### 注意事项 - **兼容模式**: 如果当前数据库并非全新建立而是已有内容，则上述方式可能会覆盖原有数据；此时建议采用 Cypher 查询语句逐条插入新纪录作为替代方案[^2]。 - **权限管理**: 确认拥有足够的访问权限去读取源文件并修改目标存储区域设置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值