基于知识图谱(Knowledge Graph)的学习类软件

做个能用的学习软件 / EdukgApp

1 项目概述

本项目是一套基于知识图谱(Knowledge Graph)的学习类软件。

就用户侧而言,本项目可提供一般学习软件所包含的知识点查看、知识问答等功能,也可以提供基于图谱实现的独特功能,以提供新的学习方式。

就开发侧而言,本项目的主要功能均基于图谱实现,可以充分利用图算法寻找知识内部的关联。

本项目中涉及到域名的部分,有些采用自定义域名解析,因此若要运行请先设置如下hosts:

123.60.58.194 edukgappdb  # 用户数据库
127.0.0.1 edukgappserver  # 通用后端

因为我们的一些组件位于服务器上,而这些服务器并非长期租用,所以我们不保证一段时间后本项目仍可正常运行。

2 需求分析


  • 用户管理

  • 注册与登录,权限认证

  • 收藏

  • 历史记录

  • 基础图业务:使用赛方提供的接口

  • 具体内容对照edukg的接口文档实现

  • 拓展图业务:自行实现图算法

  • 推荐算法

  • 路径搜索

  • 大纲树抽取

3 系统架构


本项目采用多端分离的分布式架构,具体而言包括如下部分:

  • 客户端

  • 基于安卓实现

  • 主要面向移动端用户,这也是用户唯一可见的组件

  • 通用后端

  • 基于Java Spring实现

  • 唯一与客户端进行直接交互的组件,根据客户端的交互请求,将其就地处理或转发至其他组件

  • 算法端

  • 基于Python Flask实现,负责拓展图业务部分

  • Python与Neo4j的交互更加便捷

  • 用户数据库

  • Mysql,负责用户管理部分

  • 存储用户名、密码、收藏、历史记录等基本信息

  • 知识数据库

  • Neo4j,负责拓展图业务部分

  • 内容与下发的数据一致

  • edukg

  • 赛方提供的组件,负责基础图业务部分

4 各模块详细说明


4.1 客户端

主页

完成登录后进入主页,主页可以切换“首页”、“探索”和“我的”三个页面。首页主要展示学科分类列表,并可以进入搜索和知识问答页。探索页面可以进入知识链接、实体推荐、路径分析、知识大纲和历史数据页面。“我的”页面可以显示浏览数、做题数,并进入收藏、历史、本地缓存等页面,此外还可以在本页面清除缓存。

实体详情页

从各个功能得到的实体列表中点击实体可以进入实体详情页。实体详情页会显示实体的名称、学科、属性和与其他实体的关系。通过这些关系可以跳转到对应的实体详情页。此外,实体详情页还提供实体相关的练习题。在实体详情页可以对实体进行收藏和分享。

实体列表相关页面
  • 主页的“首页”页面会显示学科分类列表,显示每个学科的相关实体。可以对学科进行添加和删除。

  • 搜索页面会显示搜索结果列表。搜索需分学科,提供默认排序、按名称排序、按属性排序和浏览历史优先排序等多种排序方式。

  • 本地缓存页提供本地浏览过实体详情页的实体列表,这些实体的详情页可以离线浏览。

  • 历史页提供当前用户浏览的实体详情页的历史记录,这些实体由后端储存,根据当前登录用户给出。

  • 收藏页提供当前用户收藏的实体。

  • 实体推荐页会根据当前用户的浏览历史分学科推荐相关实体。

  • 知识链接页会在用户输入的一段文本中寻找知识点,并给出相应的实体列表。

  • 路径分析会找出两个实体之间的最多五条最短路径(路径上的相邻实体互相有关联),并给出每条路径的实体列表。

其他页面
  • 知识问答页:分学科进行知识问答,系统将回答用户用自然语言提出的学科相关的问题。

  • 历史数据页:对用户过往浏览数的学科分布、过往的做题数和正确率等数据进行图表式的呈现。

  • 知识大纲页:根据中心实体寻找两跳以内的其他实体绘制知识大纲图。

4.2 通用后端

4.2.1 组件划分
  • 安全 com.edukgapp.security

  • 数据库 com.edukgapp.database

  • 控制器 com.edukgapp.controller

4.2.2 安全组件
基本设计

基于JsonWebToken实现无会话的安全机制,具体工作逻辑如下:

该机制允许后端不保存会话,用户可以任意在多个后端之间切换,而该过程对用户和后端而言都是透明的。这种设计可以有效降低后端的复杂性,并且有利于扩展。

实现方式
  • JwtTokenUtil: 用于生成和解析JWT的各种工具

  • JwtRequestFilter: 自定义的过滤器,从请求头中取出JWT进行检验,并根据检验结果将请求导向不同的处理组件

  • WebSecurityConfig: 整体设置,将自定义的过滤器加入过滤器链中,以及进行其他设置

  • 其他构成部分,均依托于上述三个主体组件展开

4.2.3 数据库组件
实现方式

使用Spring框架提供的JPA组件与Mysql建立连接并进行交互。

在实现时,我们只需要为Mysql表建立一个对应的描述实体类,然后基于该类声明一个Repository接口即可。

Spring为自动实现该接口,包含最基础的一些查询方法。可以按照特定的语法规则在接口中声明额外的查询方法,Spring依然可以自动实现。

具体的实体
  • AppInfo: edukg的用户名和密码等

  • Account: 用户账号

  • Favorite: 收藏

  • History: 历史记录

4.2.4 控制器组件
概述

控制器组件为Spring框架中的Controller类,用于接受网络请求。

我们将请求分为三类,分别进行不同的处理。

  • 用户管理:与用户数据库交互

  • 基础图业务:通过RestTemplate发送网络请求,转交给edukg处理

  • 拓展图业务:通过RestTemplate发送网络请求,转交给算法端处理

虽然处理方式有所区别,但是对前端统一了交互方式,可以降低前端的开发复杂性。

接口说明

接口说明可在提交的后端代码根目录下看到(README.md),我们认为不必将这些内容复制粘贴到这里。

4.3 算法端

4.3.1 服务器

基于Flask框架实现。

现阶段没有给算法端设置复杂的安全机制。

接口说明如下:

post: /get-framework

参数:

  • uri: 中心实体的uri

返回值:

{
	'uri': '',
	'label': '',
	'rel': '', # 与上级实体关联的关系,以标签形式给出
	'sub': []
}
sub 中的每一项都递归采用相同的结构
post: /get-path

参数:

  • s: 起点实体的uri

  • t: 终点实体的uri

返回值:

[
	[
		{
			'type': '',
			'uri': '',
			'label': ''
		},
		...
	],  # 这是一条路径
	...
]
post: /get-recommendation

参数:

  • course: 学科代号

  • hisotry: 历史记录列表,列表中每一项是一个uri

返回值:

[
	{
		'uri': '',
		'label': ''
	},
	...
]
4.3.2 与数据库交互

使用py2neo包连接Neo4j数据库,构造Cypher语句后直接使用graph.run()方法进行查询。

4.3.3 算法
大纲抽取

首先搜索中心实体附近一跳的实体:

match (s {uri: "%s"})-[r1]-(t1:Entity)
with s, r1, t1 limit 5
return r1.uri as r1, t1.uri as t1, s.course as course

然后以一跳实体为起点搜索两跳实体,同时避免搜索到重复结果。

分两步搜索是因为Neo4j的执行逻辑存在限制,合并搜索可能导致完全拿不到结果。

with source_list as source
match (t1)-[r2]-(t2:Entity)
where (t2.course = "%s") and (t1.uri in source) and (not t2.uri in source) and (t2.uri <> "%s")
with t1, r2, t2 limit 15
return t1.uri as t1, r2.uri as r2, t2.uri as t2

经过两步搜索后,结果中仍然可能存在环路结构,具体而言是从中心实体经过不同的一跳实体到达同一个两跳实体。因此用Python进行后处理,消除环路,形成支撑树。

路径搜索

使用Neo4j提供的最短路功能:

match (p1:Entity {uri: "%s"}), (p2:Entity {uri: "%s"}),
path=allshortestpaths((p1)-[*..10]-(p2))
with path limit 5
return path
推荐算法

推荐算法分为两部分,基于PageRank的全局推荐,和基于Jaccard指数的个性化推荐。

全局推荐:使用gds插件的PageRank方法,分学科进行。

call gds.pageRank.stream("%s")
yield score, nodeId

个性化推荐:Jaccard指数是评估两个集合之间相似性的常用方法之一。将用户历史记录实体及其附近一跳的实体作为一个集合,然后同学科内的每个实体及其附近一跳的实体各构成一个集合,将这些集合与历史记录集合分别求Jaccard指数,并将相似性较高且不存在于历史记录中的实体返回。

with ' + history_str + ' as source

match (s)-[]-(s1:Entity) where s.uri in source
with source, s, collect(id(s))+collect(id(s1)) as sSet

match (t:Entity)-[]-(t1:Entity) where (t.course = s.course) and (not t.uri in source)
with sSet, t, collect(id(t))+collect(id(t1)) as tSet

with t, gds.alpha.similarity.jaccard(sSet, tSet) as similarity
return id(t) as t order by similarity desc

4.4 数据库

4.4.1 用户数据库

使用Mysql搭建,仅依赖于Mysql的基本服务。

该数据库需要频繁访问,且会发生频繁的修改,现阶段只有一个数据库,若要扩大业务规模则需要做分布式重构。

4.4.2 知识数据库

使用Neo4j搭建,需要额外的gds(Graph Data Science)插件。

该数据库的修改频率很低,主要功能是以算法的形式提供查询服务。

因为不需要考虑数据的并发写入,所以只需要简单地设置多个一样的知识数据库即可扩大业务规模。

完整代码+项目报告:

https://download.youkuaiyun.com/download/pythonyanyan/87390274

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员奇奇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值