- 博客(28)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 转换doc为docx文件保存为txt并提取信息
-- coding: utf-8 --：author:time:import osimport shutilimport win32comimport win32com.clientdef data_():# 读取数据文件修改文件后缀名统一文件格式，然后移动文件到新的文件夹中path1 = r'metadata'path2 = r'E:\data_project\data_docx'path1_ls = os.listdir(path1)path2_ls = []path2_s =
2021-11-10 09:55:05
372
原创 全连接层和卷积层相互转换
全连接层和卷积层实际上是可以相互转换的1、卷积层替换全连接层的可行性*、卷积层是局部连接*、它的特点是稀疏连接和权值共享，*、全连接是全局信息2、全连接层到卷积层的转换、卷积核大小和输入特征图尺寸相同、保证卷积后运算结果和之前全连接是一样的转换方法：通常这种做法是用全局池化（global_pool）和1X1的卷积核实现的，全局池化是不需要设置filter，无论特征图多大都只保留一个。假设batch-size是1，最后的卷积层输出大小是5X5，通道数是512，那么接一个全局池化后卷积层的输出
2021-03-15 17:31:41
2167
原创 最大池化与平均池化区别
最大池化层：、计算最大值和记录最大值所在输入数据中的位置、缩减模型的大小、提高计算速度、减少无用信息的影响、提高所提取特征的鲁棒性(最大值)计算池化层卷积层输出大小的公式同样适用于最大池化，(n+2p-f)/s+1（input_width + 2*padding - pool_size）/stride+1平均池化与最大池化区别：前向传播中计算pool区域内的最大值并记录该最大值所在输入数据中的位置，为了在反向传播中，需要把梯度值传到对应最大值的位置置。而且反向传播也就是把梯度值直
2021-03-15 11:06:19
7490
原创 attention权重解读
Attention机制：1. Attention用于计算"相关程度", 例如在翻译过程中，不同的英文对中文的依赖程度不同2. Attention通常可以进行如下描述，表示为将query(Q)和key-value pairs[公式] 映射到输出上3. 其中query、每个key、每个value都是向量，输出是V中所有values的加权，其中权重是由Query和每个key计算出来的，计算方法分为三步：**第一步：计算比较Q和K的相似度，用f来表示点乘 dot product f(Q,K)
2021-03-10 17:37:40
2358
原创 问答系统数据预处理（源码）
搭建问答系统的步骤：一 . 首先对问答库进行拆分，将文本分别拆分为问题库和答案库源码：import jsonfrom matplotlib import pyplot as pltimport reimport stringimport nltkfrom nltk.corpus import stopwordsfrom nltk.tokenize import word_tokenizefrom nltk.stem.porter import PorterStemmerfrom skl
2021-02-28 22:09:28
964
原创 deepseek+本地知识库
OLLAMA_MODELS ： 指定ollama模型的存放路径根据自己的需要配置一下环境变量，之后最好新开一个命令行窗口 ，或者重启一下主机，这样环境变量才会生效。备注:点击Model部分，通过ollama工具，接入那个模型，就选那个模型（根据自己的电脑性能，接入尺寸大小的模型）,复制命令；点击Model部分，通过ollama工具，接入那个模型，就选那个模型（根据自己的电脑性能，接入尺寸大小的模型）备注：只需要双击，启动ollama服务，进入cmd，直接输入ollama；1.2 ollama接入模型。
2025-02-20 16:16:24
203
原创 顽强之PDF文件
一：这是我在解析读取ｐｄｆ文件时，遇到的困难，查阅好多资料，感觉必须在国外网才能找到ａｎｓ具体是在循环读取页面文件——这个函数 pdfminer.get_pages 时，您会收到以下异常：Traceback (most recent call last):File “E:/process_PDF_1.0/AnalysisFIle_Value.py”, line 101, in parse()File “E:/process_PDF_1.0/AnalysisFIle_Value.py”, line
2021-07-23 15:23:29
243
原创 Ner_野战经验
一、Ner任务——实验原理1、定义{五大类}[BMEO]1、Ner本质是序列标注，标出他们的类别【实体分类任务】： 1、不考虑实体类型，有四个标签{BMEO} ## 1、确定实体的类型： 一边标注一般是类别(人名、地名、组织机构，时间日期、专有名词) 训练一个判别器，输入一个字，输出该字的类别 ## 2、实体的边界识别 1、并不是说“张”这个字一定代表实体词首，
2021-07-19 11:18:41
526
原创 CNN原理与结构分析
卷积层的刨析：对局部卷积神经元的计算方法：卷积层使用***卷积核***进行局部感知。卷积核一般以随机小数矩阵的形式初始化。例如：原输入一个32×32×3的RGB图经过一层5×5×3的卷积后变成了一个28×28×1的特征图，那么输入层共有32×32×3=3072个神经元，第一层隐层会有28×28=784个神经元，这784个神经元对原输入层的神经元只是局部连接。卷积核一般以随机小数矩阵的形式初始化。权值计算以及权值共享权值共享可以减少很多不相干的参数量的计算，可以节约计算资源。例如：隐层中有好多神
2021-03-31 13:47:52
535
3
原创 卷积层详细刨析
卷积层的刨析：局部感知：卷积层使用***卷积核**进行局部感知。原输入一个32×32×3的RGB图经过一层5×5×3的卷积后变成了一个28×28×1的特征图，那么输入层共32×32×3=3072个神经元，第一层隐层会有28×28=784个神经元，这784个神经元对原输入层的神经元只是局部连接。卷积核一般以随机小数矩阵的形式初始化。权值共享以及权值计算权值共享可以减少很多不相干的参数量的计算，可以节约计算资源。例如：隐层中有好多神经元，每个神经元1010的连接个参数量，实际就是每个神经元的参数向量
2021-03-25 10:47:52
718
原创 为什么使用全局平均池化层？
为什么使用全局平均池化层？1、全连接层：、全连接网络可以使feature map的维度减少，进而输入到softmax、全连接层的参数超多、会造成过拟合、模型本身变得非常臃肿2、全局平均池化层(global average poolilng)[GAP]：、直接实现了降维、极大地减少了网络的参数、对整个网路在结构上做正则化防止过拟合，直接赋予了每个channel实际的内别意义、gap可能会造成收敛速度减慢3、为什么会收敛速度变慢?以及对模型训练有什么差异？、全连接层结构的模型对于训练学习
2021-03-14 23:49:29
5434
原创 一般选取卷积神经网络的倒数第二层的输出作为特征？
为何一般选取卷积神经网络的倒数第二层的输出作为特征？ 最后一个全连接层的输出维度，在设计时是和训练样本的类别数一致的。比如你的训练样本有2622类，那么在设计最后的分类器时要有2622个输入，则最后一个全连接层的输出也是2622维的。这样，最后一个全连接层的输出维度就和训练样本有了密切的关系，因此把它作为最后的特征显然不合适神经网络最后一层全连接+Softmax的理解？全连接的目的是什么呢？因为传统的端到到的卷积神经网络的输出都是分类，也就是几个类别的概率，那么全连接层就是高度提纯的特征了
2021-03-12 15:37:44
2502
原创 编解码器如何处理长句子编码问题
统计机器翻译——>神经机器翻译——编解码器如何处理长句子？基于短语的传统方法：1、神经机器编解码器，始终是先把输入的句子序列处理成一个固定长度的向量。这其中暴露的问题，其一，要把源句子所包含的信息压缩成固定长度的向量，而且是很多长句子，可能比语料库中的句子多——长句子的灾难问题其二，如果语料库中长句子没有得到很好的训练，第一性能与速度问题，第二神经网络也是很难处理长句子的解决办法：引入一个自动扩展的编码器-解码器模型学习共同调整和翻译每次提出的模型在翻译中生成一个词，它(软-)搜索源句中最
2021-03-11 15:22:27
276
原创 一句话理解bert与milvus实战
首先，本文项目使用开源的 bert-as-service ，使用 BERT 做为句子编码器，将新闻标题数据转化为固定长度为 728 维的特征向量，并导入 Milvus 库。然后，对存入 Milvus 库中的特征向量进行存储并建立索引，同时 Milvus 会给这些特征向量分配一个 ID，将 ID 和对应的新闻标题和文本存储在 PostgreSQL 中。最后，用户输入一个新闻标题，BERT 将其转成特征向量。Milvus 对特征向量进行相似度检索，得到相似的新闻标题的 ID ，在 PostgreSQL 中
2021-03-02 10:33:46
537
原创 用docker安装milvus
milvus词向量库的概念：（Facebook的Faiss）milvus可以在海量向量库中快速检索到和目标向量相似的若干个向量。相似度：内积或是欧式等都可以milvus优势：1.多平台通用，mac，windows和linux都是支持的，因为milvus可以通过docker部署，因此平台通用性好了不少2.支持编程语言多，Java，c，c++和python都支持3.在速度方面不差Faiss4.milvus在第一次search时速度会慢5.milvus的向量格式不支持numpy，要用列表的形式存储
2021-02-25 13:46:00
3296
原创 迁移学习
迁移学习：对于迁移学习，我们可以使用Google 发布的Inception或VGG16这样成熟的物品分类的网络，只训练最后的softmax层，你只需要改几千张图片，使用普通的CPU就能完成，而且模型的准确性不差。迁移学习的方法：**1.对整个网络进行微调，**假设你义训练好了识别猫品种的神经网络，你的网络能识别50种猫按品种进行分类，接下来你想对网络进行升级1.0简单版本，2.0版本通过对其它层的权重固定，只训练一层这样的逐层训练，可以更好的完成上述任务**2.借用网络的结构，**不是使用已训练好的
2021-02-22 16:21:15
131
原创 tf.placeholder函数的意义
语法结构为：tf.placeholder( dtype, shape=None, name )具体函数分析：dtype是数据类型，常用的如tf.float32等;shape是数据的形状，默认None是一维值，也可多维如【3,3】，若看到【2，None】表示2行，列无要求;name是数据名称，可不写函数的作用：减少产生的op，进而减少graph的开销。具体原理是：因为每一个tensor值在graph上都是一个op，当我们将train数据分成一个个minibatch然后传入网络进行训练时，每一
2021-02-20 17:27:57
734
1
原创 生成清晰图像
生成清新图像：(attention is really becoming [all you need])1.利用卷积，提取清晰图像的像素2.华人博士生首次尝试用两个Transformer构建一个GAN构建一个GAN,又称为TransGAN特点：GAN,训练本身具有较高的不稳定性transformer编译器为基础块，并尽量最小程度的改变。编码器有两部件组成。第一部件：多头自注意力模块构成第二部件：GELU非线性的前馈 MLP(多层感知器)#在两个部件之前均使用归一化，残差连接内存友好的
2021-02-20 08:54:18
201
原创 马尔可夫判别器（PatchGAN）
马尔可夫判别器（PatchGAN）马尔可夫判别器的区别：1.基于CNN的分类模型有很多种，很多网络都是在最后引入了一个全连接层，然后将判别的结果输出。2.马尔可夫判别器是由卷积层构成，最后输出一个n*n的矩阵，最后取输出矩阵的均值作为True/False的输出。3.事实上，输出矩阵中的每个数据代表着原图中一个感受野，对应了原图的一片(patch),这样的GAN称PatchGAN.在图像风格迁移领域中——风格迁移分为两部分第一：内容部分是指生成图像和原图像在内容(语义)上的相似性第二：纹理部分是
2021-02-19 11:26:49
9079
原创 基于知识图谱的图神经网络预测药物与药物相互作用
药物间相互作用（DDI）预测是药理学和临床应用中一个具有挑战性的问题，在临床试验期间，有效识别潜在的DDI对患者和社会至关重要。药物间的相互作用(DDI)?答案：药物间的相互作用(DDI)是指同时或先后服用两种或两种以上药物时，药物之间所产生的相互作用，而该相互作用可能会导致意想不到的副作用。举个例子，在日常生活中，某人因睡眠不佳，服用了助眠药物，比如镇定剂。与此同时他又出现了过敏反应，需要服用治疗过敏的药物，比如抗组胺药。当两种药物混合服用，就可能会减缓大脑的反应。如果此人是从事车辆驾驶或者机械操作等
2021-02-18 15:01:14
1865
原创 基于文本语义的智能问答系统以及数据格式应用
基于文本语义的智能问答系统以及数据格式应用NLP: 基于文本语义的智能问答系统应用场景：智能语音交互，在线客服，知识获取，情感类聊天等常见的分类：生成型，检索型问答系统；单论问答，多轮问答系统；面向开放领域，特定领域的问答系统example:基于检索，面向特定领域的问答系统——智能客服机器人1. 传统客服机器人的搭建流程：思路一：需要将相关领域知识转化为一系列的规则和知识图谱弊端=[重度依赖"人工"，换个场景，换个用户都需要大量的重复劳动]2. 基于语义理解的对话机器人搭建：思路二
2021-02-09 16:45:14
948
原创 2021年全国知识图谱与语义计算大会
第十五届全国知识图谱与语义计算大会第十五届全国知识图谱与语义计算大会（CCKS: China Conference on Knowledge Graph and Semantic Computing）由中国中文信息学会语言与知识计算专业委员会主办。全国知识图谱与语义计算大会源自中文知识图谱研讨会the Chinese Knowledge Graph Symposium (CKGS)和中国语义互联网与Web科学大会Chinese Semantic Web and Web Science Conference
2021-02-07 18:02:53
537
1
原创 基于知识图谱的推荐系统场景应用与前景解读
基于知识图谱的推荐系统场景应用与前景解读一：基于知识图谱的推荐系统-1.辅助系统做出精准的推荐结合推荐系统中用户与物品的交互数据，扩展用户和物品间的隐藏连通关系，从而更精准地建模用户偏好，提高推荐效果2.阐述了知识图谱如何给推荐结果提供可解释性，并总结了不同技术手段二：知识图谱的利用方式1.基于嵌入的方法方式：利用知识图谱中丰富的语义关系，来丰富物品，用户的表征。思路： @_One：图嵌入模块，可以学习知识图谱中实体和关系的表征思路：@_two：和推荐模块,以建模用户对物品的偏好重要侧重
2021-02-07 18:01:41
1018
原创 多关系知识图谱表示学习
多关系知识图谱表示学习1.异质知识图谱研究的对象便是如何处理多关系知识图谱？个人理解：多relation知识图谱中modeling在做node表征时需要充分考虑relation,也就是边对于实体表征的作用2.如何合理充分结合node and relation信息提高表征能力？**answer:**RGCN是一个messages-passing[消息传递]=框架[R-GCN–Modeling Relation data with Graph Convolution networks]RGCN是专门
2021-02-07 17:57:45
398
原创 知识图谱预训练数据转化(附源码)
#encoding : utf8import jsonwith open(r’name’,‘r’,encoding=‘utf8’) as fr:with open(r’name1.txt’,‘a’,encoding=‘utf8’) as fw:for line in fr:data = line.split(’\t’)if(len(data) == 6):train_data = dict()train_data[‘entity1Pos’] = data[0].strip()train_d
2021-02-07 17:54:28
257
1
原创 人工智能本身也是一种新型基础设施
**2021中国人工智能应用趋势报告明确提出新基建助推人工智能应用迈入新阶段**新基建加速人工智能应用落地新冠疫情、经济增长放缓、竞争加剧等多重挑战下，企业加速应用人工智能进行智能化建设。新基建为人工智能发展提供数据、算力和算法三个层面的基础设施支撑；同时，新基建将拓展人工智能的应用场景。人工智能本身被定义为一种新型基础设施，将助力产业实现智能化；反过来，新基建又将推动人工智能产业化，为人工智能产业提供基础设施，助力人工智能场景落地。具体来看，新基建将在数据和算力、算法三个层面为人工智能提供基础设
2021-02-07 17:38:25
556
空空如也
构建很大的实体词典性能直线下降
2021-08-26
TA创建的收藏夹 TA关注的收藏夹
TA关注的人