- 博客(25)
- 收藏
- 关注
原创 基于知识图谱的问答系统v1.0
本篇讲解如何从零到无搭建基于知识图谱的问答系统,该项目为测试版本,只涉及到一种关系,几百个去重实体。该项目分别从知识图谱的创建,问题的分类,问题的解析,问题的查询这几个方面去阐述。该项目使用flask作为Web框架,ajax前后端交互,其中实现了用户的注册登录以及问答系统。1、知识图谱的创建识图谱创建采用脚本批量处理形式,具体代码如下:#!/usr/bin/env python# -*- coding: UTF-8 -*-'''@Project :KG_QA@File :kg_goujia
2021-06-23 21:22:46
3498
6
原创 力扣刷题49题字母异位
本篇是记录力扣刷题总字母异位。涉及到hashmap1、前述介绍:输入形式: [eat,tea,tan,ate,nat,bat]输出形式:[[eat,tea,ate],[tan,nat]]针对上述算法求解有俩种方法:1、第一种是先排序,针对字母排序后每个字符串相等,这种时间复杂度是nlogn,2、本文使用的是方法2:具体的思路如下:2.1、俩种方法,一种是排序eat->aet,比较简单,非暴力不是最优解,nlogn2.2、最优解法:2.3、检查是否为空数组2.4、建立一个长度为2
2021-06-21 20:03:56
316
原创 力扣刷题最大序列和
本篇是记录力扣刷题中的最大序列和主要思想是动态规划。输入格式:-2,1,-3,4,-1,2,1-5,4]输出是6解题思想1、构造最优子结构,局部最优到全局最优2、通过抉择,判断是否延续之前的数组,判断是否需要更新最大值3、代码展示:<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title>
2021-06-21 19:46:22
186
原创 医疗知识图谱构建
上篇文章中笔者已经实现了对实体关系的抽取,形成了对应的三元组,这篇主要讲如何根据抽取的三元组去生成对应的医疗知识图谱。前述部分知识图谱构建的方式有很多,有基于Protege去构建,它是一个使用本体去一层层构建,手动定义一层一层关系,最终的结果是RDF或者OWL文件保存。具体的参考流程可以查看:Protege本体构建,另一种方法可以使用工业界比较常用的Neo4j图数据库管理工具,它操作简单,分为桌面版,社区版本。具体的可以根据用户需要去自行下载。笔者就是基于Neo4j去实现数据的批量读取最终生成医疗知识
2021-06-20 19:56:50
3561
2
原创 力扣刷题第15题删除链表中的倒数第n个节点
删除链表中的倒数第n个节点1、采用双指针解法算法思路图解:<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title></head><body></body></html><script> //双指针方法,防止遍历俩遍//设
2021-06-19 11:04:04
205
1
原创 阿里云医疗实体关系抽取大赛
1、本项目是基于阿里云比赛开放的医疗数据集去做的实体关系抽取。下面会从数据的详情,模型的选取,模型的训练,模型的验证和模型的预测去讲述。2、数据准备阶段1、数据来源是阿里云医疗大赛,选取的是其中一个子任务,医疗实体关系抽取,数据如下:2、数据分析从上面的数据中我们可以发现数据是清洗后的json文件,其中包含对应的需要的文本,标注的三元组信息,三元组按照主体-》关系-》客体去标注的。其中整理后的关系种类也是一个json文件,因为在实体关系抽取中我们目标是计划在文本句子中抽取出一个或n个三元组。
2021-06-18 10:12:33
3488
14
原创 基于深度学习的实体关系抽取
本项目针对舆情食品安全领域进行实体关系的抽取,工程主要分为爬虫、数据清洗、数据标注、模型的训练、模型的预测,关系抽取采用的是TextCNN。下面介绍下工程的开发逻辑。1、介绍下整体的工程架构2、介绍下爬虫和数据处理部分,都放在data目录下面:3、针对清洗后的数据,需要进行数据的标注,后面提供给深度学习模型训练:4、定义CNN模型网络结构:5、进行模型的训练,最终的准确率在训练集和测试集上达到75到80左右6、模型的预测结果如下所示:总结:从从抽取结果看,效果是可以的,需要数
2021-04-01 13:49:38
2476
3
原创 工作站显卡驱动重装
工作站系统重装->显卡驱动采用ubuntu16开始安装ubuntu显卡驱动安装:安装比较顺利没出现大问题https://blog.youkuaiyun.com/yinwangde/article/details/89439648显卡驱动下载:TITAN V:https://www.nvidia.cn/content/DriverDownload-March2009/confirmation.php?url=/XFree86/Linux-x86_64/460.56/NVIDIA-Linux-x86_6
2021-04-01 12:40:00
1668
1
原创 基于django框架开发的在线博客系统v1.0
因为之前很久没有用django了,花了一周时间重温了django语法,重头手撕了一个低版本的在线博客系统,希望给初学django的一些帮助,现已开源在github上,过俩天将部署至我的阿里云(最近太忙了。。。)一、如何构建一个远程仓库,并在本地pycharm中实时git push 提交更新1、注册github账号并新建仓库(新建仓库)2、本地拉取远程仓库信息二、本地创建django projects,以及对应的app(这里就不细说,直接上命令)本地开发与push三、开始我们的项目实战
2020-06-03 16:05:46
765
原创 NLP研究入门之道:走近NLP学术界
国际学术组织、会议与论文在计算机领域,国际上活跃着众多专业学术组织,吸收专业学者和学生作为会员,定期组织学术年会,报告学术论文,让学者们更方便地交流最新研究成果。这里以自然语言处理领域为例,介绍国际学术组织和学术会议的组织形式,以及国际学术论文的查找方式。自然语言处理(Natural Language Processing,NLP)在很大程度上与计算语言学(Computational Linguistics,CL)重叠,与其他计算机学科类似,NLP/CL领域有一个规模最大、最权威的国际专业学会,叫T
2020-05-21 22:53:20
1108
原创 闲谈神经网络(BP),tesnsoflow实战torch实战
BP神经网络实战前端时间看了BP神经网络,并进行回归预测,下面从三种方法进行阐述。方法一、直接使用波斯顿房价预测案例进行简单修改,话不多说,源码如下:(代码备注很清晰,一看既懂)#读取数据from sklearn.metrics import mean_squared_error #均方误差from sklearn.metrics import mean_absolute_error #平方绝对误差from sklearn.metrics import r2_score#R squareimp
2020-05-20 17:39:27
658
1
翻译 深度学习中的VQA(视觉问答)技术
视觉问答(Visual Question Answering,VQA)是一个需要理解文本和视觉的新领域。由于深度学习技术显著地改善了自然语言处理和计算机视觉结果,我们可以合理地预期VQA将在未来几年变得越来越准确。视觉问答主要涉及图像文本俩种模态信息。详细内容如下:VQA视觉问答...
2020-05-19 19:45:27
4683
原创 如何利用卷积神经网络实现手写体识别【下】
实现思路"""基础知识: 1、神经网络(neural networks)的基本组成包括输入层、隐藏层、输出层。而卷积神经网络的特点在于隐藏层分为卷积层和池化层(pooling layer,又叫下采样层) 2、卷积层:通过在原始图像上平移来提取特征,每一个特征就是一个特征映射 a)提取特征:定义一个过滤器(也称观察窗口,奇数大小,值为权重)大小,步长 b)移动越过图片: 1、VALID:不越过,直接停止观察(一
2020-05-19 14:09:59
350
原创 卷积神经网络(CNN)实战
一、本文基于Tensorflow采用CNN做的手写字体识别,话不多说上代码import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport matplotlib.cm as cmimport tensorflow as tfLEARNING_RATE = 1e-4TRAINING_ITERATIONS = 2500DROPOUT = 0.5BATCH_SIZE = 50VALIDATION_SIZE
2020-05-19 14:01:27
1263
原创 浅谈知识融合
知识和融合一、介绍知识融合主要从下面俩点着手什么叫知识融合(看完这幅图可能就明白)[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-INDK0SNk-1589775956173)(https://ftp.bmp.ovh/imgs/2020/05/35404f4702eba06c.jpg)]简单点来说:知识融合就是在不同的数据集中找出同一个实体的描述记录知识融合的目的:他是对不同数据源中的信息进行整合,形成更加全变得实体信息实体链接实体链接(entity link
2020-05-18 12:26:27
8112
原创 浅谈BP神经网络以及tensorflow实现
BP (Back Propagation)神经网络简介 :先介绍一下神经元,在生物神经网络中,每个神经元与其它神经元相连,当一个神经元“兴奋”时,就会通过穿出神...
2020-05-12 13:01:53
742
原创 基于神经网络的基本知识
训练神经网络时如何确定batch size?神经网络的优化理论神经网络的的理论支持神经网络中batch size确定浅谈模型融合如何进行学术研究?
2020-05-12 10:53:17
642
转载 闲谈神经网络softmax激活函数
(首先说明一下我只是个大四在读学生,在自学深度学习,期间遇到很多问题,通过各种资料解开了疑问。写这篇博客的目的是加深对理论的理解,同时也希望能给和我一样存在疑问的...
2020-05-11 23:55:56
4752
1
翻译 基于opencv的人体姿势估计
基于视频流,通过解析成一帧一帧的来进行处理,分析视频信息,得到实时人体姿势图源码实现# To use Inference Engine backend, specify location of plugins:# export LD_LIBRARY_PATH=/opt/intel/deeplearning_deploymenttoolkit/deployment_tools/external/mklml_lnx/lib:$LD_LIBRARY_PATHimport cv2 as cvimpor
2020-05-11 23:01:12
380
原创 基于tensorflow2.0的电影评论模型训练
电影评论模型训练(KERAS)使用影评的文本将影评分为正面影评和负面影评。这是一个二元或二元分类的例子,一个重要的和广泛适用的机器学习问题。本教程演示了使用TensorFlow Hub和Keras进行迁移学习的基本应用。我们将使用IMDB数据集,其中包含来自Internet电影数据库的50,000篇电影评论的文本。这些被分为25000个培训评论和25000个测试评论。训练和测试集是平衡的,这意味着它们包含相等数量的p导入相关的依赖import numpy as npimport tensorf
2020-05-11 22:52:16
834
原创 基于windows和linux下的各种操作命令
常见命令汇总java -jar rdf2rdf-1.0.1-2.3.1.jar NXrice.owl NXrice.ntpip install keras -i “https://pypi.doubanio.com/simple/”pip install django1.6 -i “https://pypi.doubanio.com/simple/”豆瓣源下载:java -jar rdf...
2020-04-26 12:13:54
525
原创 基于自然语言中多模态融合
多模态融合学习路程一、主体内容设定一种新知识的输入形式,单张图片(利用卷积和神经网络设计一种图片相似性检测模型,高于权重属于同类图片、处于一定权重区间则属于该图片结点的父节点、低于一定权重则无关);单段文本可以直接沿用王丹丹的段落文本三元组抽取工具抽取和融合,或者你自己改进一下;多模态的另一个图谱则集成结点语义消歧融合、知识链匹配对齐这些算法实现。如果要用迁移学习你肯定得需要两个数据集,王...
2020-04-25 22:25:37
1869
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人