知识图谱neo4j—利用python进行知识入库

python构建知识图谱_Python从零开始构建知识图谱 “他山之石,可以攻玉”,站在巨人的肩膀才能看得更高,走得更远。在科研的道路上,更需借助东风才能更快前行。为此,我们特别搜集整理了一些实用的代码链接,数据集,软件,编程技巧等,开辟“他山之石”专栏,助你乘风破浪,一路奋勇向前,敬请关注。作者:知乎—wxj630地址:https://www.zhihu.com/people/wxj630知识图谱是数据科学中最迷人的概念之一学习如何构建知识图谱... 阅读详情

知识图谱neo4j—利用python进行知识入库

知识图谱—利用python进行知识入库

作为一个写sql出生的菜鸡,在这里分享一下去年11月到12月之间研究的关于知识图谱的课题相关知识,由于客户的原因最终该项目没有继续进行下去,但是有些经验还是可以跟大家分享一下,理论知识就不说了,很多人已经有类似的分享了,这边分享一个我自己用python写的导入neo4j的脚本,能达到1秒入库4000条左右记录数据,话不多说,直接进入正题

数据准备

为了造假数据也是费尽了脑汁,就以在下比较喜欢的动漫作为主题吧(我可是要成为海贼王的男人~~)

船员信息表
create table kg_role_info (name varchar2(20),age number,birth_address varchar2(200),target varchar2(2000))
name :姓名
age :年龄
birth_address:出生地
target:目标


海贼团成员表
create table kg_hzt_info (hzt_name varchar2(200),member_name varchar2(20),role_name  varchar2(20))
hzt_name:海贼团名称
member_name:成员姓名
role_name:角色

插入数据

insert into kg_role_info (NAME, AGE, BIRTH_ADDRESS, TARGET)
values ('蒙奇·D·路飞', 19, '东海-哥亚王国-风车镇', '海贼王');

insert into kg_role_info (NAME, AGE, BIRTH_ADDRESS, TARGET)
values ('罗罗诺亚·索隆', 21, '东海-霜月村', '世界第一的大剑豪');

insert into kg_role_info (NAME, AGE, BIRTH_ADDRESS, TARGET)
values ('娜美', 20, '东海-可可亚西村', '绘制世界地图');

insert into kg_role_info (NAME, AGE, BIRTH_ADDRESS, TARGET)
values ('乌索普', 19, '东海-西罗普村', '勇敢的海上战士');

insert into kg_role_info (NAME, AGE, BIRTH_ADDRESS, TARGET)
values ('文斯莫克·山治', 21, '东海-西罗普村', '找到All Blue');

insert into kg_role_info (NAME, AGE, BIRTH_ADDRESS, TARGET)
values ('托尼托尼·乔巴', 17, '伟大航路·磁鼓岛-无名国', '制作出"万能药",帮助所有需要帮助的人');

insert into kg_role_info (NAME, AGE, BIRTH_ADDRESS, TARGET)
values ('妮可·罗宾', 30, '西海-欧哈拉', '解开历史正文,找到关于三大武器的秘密');

insert into kg_role_info (NAME, AGE, BIRTH_ADDRESS, TARGET)
values ('弗兰奇', 36, '南海某国', '乘坐自己制作的梦想之船绕伟大航线一周');

insert into kg_role_info (NAME, AGE, BIRTH_ADDRESS, TARGET)
values ('布鲁克', 99, '西海某国', '与拉布汇合');

insert into kg_role_info (NAME, AGE, BIRTH_ADDRESS, TARGET)
values ('甚平', 46, '鱼人岛', '帮助路飞成为海贼王,让鱼人族获得真正的自由');

insert into kg_hzt_info (HZT_NAME, MEMBER_NAME, ROLE_NAME)
values ('草帽海贼团', '蒙奇·D·路飞', '船长');

insert into kg_hzt_info (HZT_NAME, MEMBER_NAME, ROLE_NAME)
values ('草帽海贼团', '罗罗诺亚·索隆', '副船长');

insert into kg_hzt_info (HZT_NAME, MEMBER_NAME, ROLE_NAME)
values ('草帽海贼团', '娜美', '航海士');

insert into kg_hzt_info (HZT_NAME, MEMBER_NAME, ROLE_NAME)
values ('草帽海贼团', '乌索普', '狙击手');

insert into kg_hzt_info (HZT_NAME, MEMBER_NAME, ROLE_NAME)
values ('草帽海贼团', '文斯莫克·山治', '厨师');

insert into kg_hzt_info (HZT_NAME, MEMBER_NAME, ROLE_NAME)
values ('草帽海贼团', '托尼托尼·乔巴', '船医');

insert into kg_hzt_info (HZT_NAME, MEMBER_NAME, ROLE_NAME)
values ('草帽海贼团', '妮可·罗宾', '考古学家');

insert into kg_hzt_info (HZT_NAME, MEMBER_NAME, ROLE_NAME)
values ('草帽海贼团', '弗兰奇', '船匠');

insert into kg_hzt_info (HZT_NAME, MEMBER_NAME, ROLE_NAME)
values ('草帽海贼团', '布鲁克', '音乐家');

insert into kg_hzt_info (HZT_NAME, MEMBER_NAME, ROLE_NAME)
values ('草帽海贼团', '甚平', '舵手');

自写Oracle增删改查工具类

这里自己封装了一个工具类,方便链接Oracle库,调用一些常用操作,比较简单,大家不要挑剔哈(先为自己的菜鸡找好借口了*)

# -*- coding: utf-8 -*-
"""
Created on 2019年11月20日

@作者:gcl_coder
"""
import cx_Oracle


'''
重新定义Oracle数据连接库,方便后续调用,不需要每次都复制函数到python脚本里面
'''
class Gcl_oracle(object):
    
    
    #实例函数,用于初始化对象,创建的时候必须要将用户名user,密码password和服务名servername放进去,不然无法连接数据库,创建连接会失败
    def __init__(self,user,password,servername='orcl'):
        self.user = user
        self.password = password
        self.servername = servername
        
    
   #重定义数据库连接
    def connect(self):
        return cx_Oracle.connect(self.user, self.password, self.servername,encoding="UTF-8")
    
    
    #定义数据库查询函数,数据数据库连接名connection,查询的sql,返回list类型查询结果
    '''
    sql = 'select column1,column2 from tablename'
    '''
    def select(self,sql):
        connection = self.connect()
        cursor = connection.cursor()
        results = cursor.execute(sql).fetchall()
        cursor.close()
        return results
        
    #定义插入Oracle数据函数,输入数据库连接和执行sql,dataToInsert为插入数据,要求数组类型
    '''
    dataToInsert = [
        (10, 'Parent 10'),
        (20, 'Parent 20'),
        (30, 'Parent 30'),
        (40, 'Parent 40'),
        (50, 'Parent 50')
    ]
    cursor.executemany("insert into ParentTable values (:1, :2)", dataToInsert)
    '''
    def insert(self,sql,dataToInsert=[]):
        connection = self.connect()
        cursor = connection.cursor()
        cursor.executemany(sql,dataToInsert)
        connection.commit()
        cursor.close()
        
    #删除数据
    '''
    部分删除
    sql = 'delete from table_name where condition'
    全表清除建议用以下脚本,大表效率较高
    sql = 'truncate table tablename'
	这个也可以用来做数据修改等其他DML操作
    '''
    def delete(self,sql):
        connection = self.connect()
        cursor = connection.cursor()
        cursor.execute(sql)
        connection.commit()
        cursor.close()    

知识入库

废话不多说,直接上干货

# -*- coding: utf-8 -*-
"""
Created on 2019年11月20日

@作者:gcl_coder
"""
#导入应用模块
#import py2neo
from py2neo import Node, Graph, Relationship,Database,NodeMatcher,data
#from py2neo.ogm import GraphObject,Property,RelatedFrom,RelatedTo
import datetime
#import pandas as pd
#import numpy as np
import gcl_oracle
#import os

'''
#函数声明
def add_nodes(graph,node_list,label,primarykey):
    """
    说明:向neo4j中添加实体节点
        参数:graph: 对应neo4j实例
            node_list:节点列表 type -list
            label:neo4j对应节点的标签
            primarykey:neo4j 对应节点的唯一主键
        返回:NULL
    """
    nodes = []
    #定义事物开始
    tx = graph.begin()
    nodes = data.Subgraph(node_list)
    #merge 按照primarykey创建不重复的节点
    tx.merge(nodes, label, primarykey)
    #事物结束,提交数据
    tx.commit()

def add_nodes_pages(results,key_list,graph,label,primarykey):
    '''
    说明:分批次导入节点实体数据
        参数:results:实体清单list类型(包含实体和实体对应的属性)
              key_list:实体清单对应的属性名称(字段名称),和results数据column对齐
              graph:neo4j连接对象
              label:neo4j中的标签名(实体类名),类似数据库中的表名
              primarykey:实体唯一主键
    '''
    #提取列表长度
    len_res = len(results)
    #记录开始时间
    print('start_add_nodes:', datetime.datetime.now())
    nodes = []
    #循环迭代,插入知识图谱实体&实体属性
    for index, c in enumerate(results):
        #将每条知识和属性名称打包成字典
        n_properties = dict(zip(key_list, c))
        #创建节点
        a = Node(label, **n_properties)
        #加入数组
        nodes.append(a)
        #判断1000条记录入库提交一次
        if len_res == (index + 1):
            add_nodes(graph, nodes, label, primarykey)
            nodes = []
        elif (index + 1) % 1000 == 0:
            add_nodes(graph, nodes, label, primarykey)
            nodes = []
        else:
            pass
    #结束时间打印
    print('end_add_nodes:', datetime.datetime.now())

    
#主程序执行入口
if __name__=='__main__':
    # 连接neo4j
    #graph = Graph("http://10.73.241.109:7474/", username="neo4j", password="neo4j")
    graph = Graph("http://localhost:7474/browser/", username="neo4j", password="neo4j")
    print('graph 连接成功,开始清库')
    #清除neo4j库里面的数据数据量太大的时候不能用以下清表函数,容易卡住,建议直接通过后台服务删除文件
    graph.delete_all()
    print('graph 清库成功')
    #连接oracle,将username换成你的数据库账号,password是密码,server是服务
    gcl_ora = gcl_oracle.Gcl_oracle('username','password','server')
    conn = gcl_ora.connect()

    '''
    知识的导入我这边总结了一下主要分为两步:1.创建实体;2.创建实体之间的关系 ;传说中的三元组也没有那么高深嘛
    创建实体的时候属性可以按照自己的需求添加,比如下面的Person实体,name以外的都是属性
    提示:其实每个属性都可以成为实体,具体看自己的需求和设计,总体知识我觉得做到清晰的说明事物时间的关系即可,不是越复杂越好
    '''
    # 第一步添加实体:为了演示我们添加2个实体类
    # 添加海贼团实体 Pirate_regiment 类
    graph.run("MERGE (n:Pirate_regiment{name:'草帽海贼团'})")

    # 添加Person实体
    quary_sql = 'select name,age,birth_address,target from kg_role_info'
    results = gcl_ora.select(quary_sql)
    '''
    这里有个细节需要注意一下,neo4j实体默认显示的是属性为name的字段,如果你的表中没有name这个字段,
    也没关系,只要在下面的key_list中将对应顺序的字段命名为name就可以,字段名称最好都小写,neo4j是区分大小写的,这个坑我踩过
    '''
    key_list = ['name', 'age', 'birth_address', 'target']
    #调用分片函数导入知识
    add_nodes_pages(results, key_list, graph, 'Person', 'name')


    # 添加出生地实体Birth_address
    quary_sql = 'select birth_address from kg_role_info'
    results = gcl_ora.select(quary_sql)
    key_list = ['name']
    add_nodes_pages(results, key_list, graph, 'Birth_address', 'name')


    #第二步:创建关系,创建关系我这边列举了两种方式
    #批量创建:如果两个实体之间的可以通过属性关联创建的,如案例中的Person类中的birth_address和Birth_address类中的name可以直接关联产生连接
    #这个方式相对效率会很高,适合较大数据量,具体如下:
    graph.run("MATCH (p:Person),(u:Birth_address) WHERE p.birth_address = u.name merge (p)-[:出生于]->(u)")


    #单条创建:这个适合实体时间的关系无法直接通过关联产生,需要人为设定关系,相对效率较低,具体实现如下:
    results_user = gcl_ora.select('select hzt_name,member_name,role_name from kg_hzt_info')
    for r in results_user:
        start = str(r[0])#hzt_name  海贼团名称
        end = str(r[1])#member_name 成员姓名
        rel = str(r[2])#role_name 成员角色
        if start is None:
            pass
        else:
            cql_str = 'match (n: Pirate_regiment {name: \'' + start + '\'}),(m: Person {name: \'' + end + '\'}) MERGE (n)-[r:' + rel + ']->(m)'
            graph.run(cql_str)

执行后的效果

在这里插入图片描述
总结:
知识图谱作为一个前沿领域,自己感觉还是挺好玩的,特别是图像关系的展示,能给人一种直观视觉感受,有兴趣的同学可以自己玩一下。
作为一个只是浅尝即止的菜鸟,分享这样一篇文章也是为了强迫自己学习新的知识,并能够通过分享表达出来作为巩固,代码可能瑕疵比较多,也希望大家多多指正,今天的分享到此结束,谢谢大家抽空阅读和指教

Python neo4j建立知识图谱,药品知识图谱,neo4j知识图谱,知识图谱的建立过程,智能用药知识图谱,智能问诊必备知识图谱 阅读详情

相关推荐

基于Python和Neo4j搭建知识图谱医药问答系统

本案例用Pycharm编写Python程序操作Neo4j搭建知识图谱医药问答系统实战练习

contributed_l的博客 1万+

知识图谱(3) -- python代码样例

这里是使用了王昊奋老师发布在OpenKG上的demo“基于REfO的KBQA实现及示例”,基本跟王老师的说明差异不大,其中加入一些我自己的见解(笔记)。 一. 部署 1. 从网站上将老师的项目下载下来。 2. 根据Readme,md的教程执行一趟(很可惜我失败了,可能是因为系统的关系,不过问题不大,因为SimmerChan的样例我实践成功了就行),所以, 下面大概记录一下test.py中各段...

qq_28634403的博客 6259

知识图谱 之 python 操作neo4j (导入CSV操作)

使用python操作neo4j首先我们要先安装一个库 :pip install py2neo 安装py2neo后我们可以使用其中的函数对neo4j进行操作。 首先我们要知道 Neo4j是图数据库。其中最重要的就是结点和边(关系),结点之间靠边联系在一起,每个结点也有属于自己的属性。 也就是说我们在用pyhton操作Neo4j的时候只需要创造出节点(Node )和边(Relationship ),如果有需要可以再给结点附上一些属性。 注意: 在我们用python的时候我们必须启动Neo4j 如图所示

weixin_43788143的博客 2万+

对Neo4j导出数据做知识图谱可视化 D3库实现

知识图谱可视化 D3库的使用引言Neo4j导出数据 引言 好久没用D3库作可视化了,现在主要是用百度的echarts库,在项目中做简单的图表太方便了。但像是做关系图其实用echarts也很方便,这次用D3实现主要是复习一下以前做的东西,顺便记录一下。 以下是我参考到的实例代码: D3官方图实例参考 echarts做关系图实例参考 Neo4j导出数据 我们先通过Cypher查询将数据从Neo4j中查询出来,Neo4j构建和查询可以参考我上篇博客基于Neo4j的外贸企业关系图谱做企业相似度查询 查询后的结果如下

tiandao451的博客 2万+

知识图谱之python操作Neo4j导入CSV构建复杂的知识图谱

大家如果对python操作Neo4j导入CSV并不是很熟悉的话,可以先看看这篇文章有个大概的操作基础。传送门 大家看过上篇文章应该知道,我们最后构建出来的知识如下图所示,但很明显可以看出来华南师范大学这个节点应该只有一个,应该让所有属于华南师范大学的人物都连接在唯一的节点上而不是每个人物都有属于它自己的节点。这样才会使得我们的图谱更加的紧凑。 数据源 这是本次构建知识图谱的CSV格式的数据源,这是在上次数据的基础上截取了一小部分并且对数据的内容进行了一定的修改便于大家看的更加明显(图中数据信息均为乱改 不

weixin_43788143的博客 1万+

Neo4j 从入门到构建一个简单知识图谱

Neo4j 对于大多数人来说,可能是比较陌生的。其实,Neo4j 是一个图形数据库,就像传统的关系数据库中的 Oracel 和 MySQL一样,用来持久化数据。Neo4j 是最近几年发展起来的新技术,属于 NoSQL 数据库中的一种。 本文主要从 Neo4j 为什么被用来做知识图谱,Neo4j 的简单安装,在 Neo4j 浏览器中创建节点和关系,Neo4j 的 Python 接口操作以及用 Ne...

h471507602的博客 1万+

python制作关键图谱_知识图谱neo4j—利用python进行知识入库

知识图谱neo4j—利用python进行知识入库知识图谱—利用python进行知识入库作为一个写sql出生的菜鸡,在这里分享一下去年11月到12月之间研究的关于知识图谱的课题相关知识,由于客户的原因最终该项目没有继续进行下去,但是有些经验还是可以跟大家分享一下,理论知识就不说了,很多人已经有类似的分享了,这边分享一个我自己用python写的导入neo4j的脚本,能达到1秒入库4000条左右记录数据...

weixin_39555320的博客 1102

三种创建Neo4j知识图谱方法详解

使用Neo4j创建知识图谱有以下三种方式: 1、通过Neo4j Desktop导入数据集; 2、通过Python py2neo graph.run()命令执行create语句 3、通过Python py2neo graph.create()命令执行创建节点及关系 根据目前实践,第一种、第二种适合批量操作,而第二种更适合在线操作,下面将一一详细介绍。 一、通过Neo4j Desktop导入...

haiziccc的专栏 1万+

元数据抽取转图谱入库

【代码】元数据抽取转图谱入库。

weixin_62785408的博客 216

Neo4j简单构建知识图谱实例

Ps:在使用Neo4j前,需要先在该安装路径文件下cmd运行,输入neo4j console 即可启动,可根据关闭时输入neo4j stop,如下图所示说明已成功启动,此时可打开 http://localhost:7474/进入Neo4j图数据库。 一、需要两组数据 如下图所示,我们需要筛选出关键字中包含有“图形化编程”的专题数据,并以此构建“图形化编程”与各专题之间的关系。下图以20条数据为例(本文使用的数据库为Mysql数据库): 二、提取所需专题数据 利...

h716615的博客 5576

Neo4j带有图片链接作为节点的知识图谱

打开:http://localhost:7474/browser/

源代码杀手的博客 1842

python+neo4j构建基于知识图谱的电影知识智能问答系统

​ ~~~~~~~~ 最近,课程设计要求做关于知识图谱的调研工作。调研过程中,在网络上发现诸多同学自行构建知识图谱的相关内容,就考虑自己自行搭建一个。经过调研和基于自己技术的考量,最终还是打算做基于知识图谱的电影知识智能问答系统(主要是数据集比较好构建)。虽然比较简单,但是这个过程中自己也收获不少新知识,对于整个系统框架的了解也更加深入。​ ~~~~~~~~ 在智能问答系统构建之前,需要做部分准备工作,主要包含两个方面:软件安装:​

DALEONE的博客 2万+

【Neo4j Desktop】用cypher或python创建知识图谱

个人项目总结:用cypher或python在neo4j导入csv建立知识图谱,建立了一些简单的结点和关系,适合刚接触neo4j的学习(本人也是小白)

HELLO 8209

python在线爬取数据导入Neo4j创建知识图谱

近期学习Neo4j,以豆瓣top250数据为研究对象,实现python在线爬取数据写入Neo4j创建知识图谱,下文详细介绍步骤。 1、知识图谱设计 通过分析网页,爬取网页可以得到movie、country、type、time、director、actor、score等信息,此处我将movie、country、type、time、director、actor作为节点,而score作为movie的...

haiziccc的专栏 8264

知识图谱-命名实体-关系-免费标注工具-快速打标签-Python3

这是一款实体关系联合标注的本地小程序,以Python3实现。本系统是一种标注文本语料中命名实体与关系或属性的半自动化软件系统,应用Python编程实现可视化界面和主要功能.

毕业设计:python医疗知识图谱问答系统(源码 + 数据库 + 说明文档)

毕业设计:python医疗知识图谱问答系统(源码 + 数据库 + 说明文档) 第二章 可行性分析 6 第三章 需求分析 7 3.1医疗知识图谱的重要性 7 3.2 医疗知识图谱系统的需求分析 8 3.3 系统应用分析 9 第四章 总体设计 9 4.1.系统模块总体设计 9 4.2.系统总体设计 9 4.3.详细设计技术 11 第五章 详细设计与实现 11 5.1.详细设计 11 5.2.可视化系统实现过程 12 第六章 系统测试与性能分析 15 6.1 软件测试的概念 15 6.2 本系统的软件测试 15 6.3.本系统测试的总结 17

基于python的Django框架和Neo4j的知识图谱可视化

上两篇文章我已经写了怎么用python在Neo4j中构造知识图谱。大家可以先看下这两篇文章。 知识图谱 之 python 操作neo4j (导入CSV操作) 知识图谱之python操作Neo4j构建复杂的知识图谱 通过上面两篇文章我们已经能从pyhon中操作Neo4j图形数据库了。下面就是要想办法把Neo4j中的知识图谱显示在前端页面上。首先我们要会Django框架把前端页面显示出来。至于怎么搭建Django框架和显示网页我就不多说了,毕竟东西太多而且也不是今天的主要内容。直接展示一下搭建好的成果。 网页

weixin_43788143的博客 2万+

5张图,搞懂三方支付机构的“备付金账户”体系

本文将详细解析第三方支付机构各类备付金账户的功能定位、所承载的支付业务处理流程以及日常管理。

银行信息系统应用架构详解 2152

基于Neo4j知识图谱的构建及可视化

手把手教你基于Neo4j构建知识图谱可视化系统。有任何疑问或者需要提供帮助都可以私信我。

欢迎光临 1万+

QQ技术大总结

此贴只是一些对q友有用的东西,也许有人知道,高手勿喷。进如正题~ 1. 进入访问受限的qq空间 在地址栏里输入 http://qqxoo.com/main.html?qqid=qq号这样就可能看对方的空间 http://qqshow-user.tencent.com/qq号/11/00 看mm的qq绣 http://shuqian.qq.com/qq号/ qq书签 ...

weixin_33845881的博客 1273

保姆级教程:在Ubuntu 22.04上搞定PX4 V1.14 + ROS2 Humble的HITL仿真(避坑实录)

本文提供在Ubuntu 22.04上配置PX4 V1.14与ROS2 Humble的HITL仿真环境的详细教程,涵盖环境准备、固件编译、QGroundControl配置、ROS2通信设置及联调测试。特别针对版本兼容性、Gazebo插件构建和MicroDDS配置等常见问题提供避坑指南,帮助开发者高效搭建无人机仿真系统。

weixin_30836759的博客 1009
上一篇: Oracle实现两个日期之间工单处理时长,剔除非工作时间,周末和法定节假日
gcl_code
博客等级 码龄11年 10粉丝 4原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值