- 博客(23)
- 收藏
- 关注
RSS订阅原创 Thread并行概念简单理解
所以，虽然所有线程共享同一个队列（篮子），但他们并不会拿到“相同”的任务（苹果）。每个线程独立地从队列中抓取任务，因此，每个线程拿到的任务是不同的，除非队列中只有一个任务被重复放入多次。），现在有八个人（这八个人代表八个线程）围着篮子准备拿苹果。想象一下有一个篮子里放了很多苹果（这个篮子就像是你的。
2024-05-24 17:50:11
188
原创 docker指令总结
docker run -it -d --gpus all --restart=always -v /data1/home/gaorong/lxj_test/AIS:/work gw000/keras-full:latest bash #25号机这也启动容器才可以用gpu。4、docker run -itd -p 8888:80 --restart=always abcdef:latest ---- 通过abcdef镜像启动容器。
2024-05-21 21:12:38
723
原创 Error:Layer ModuleWrapper has arguments in `__init__` and therefore must override `get_config`.
Error:Layer ModuleWrapper has arguments in `__init__` and therefore must override `get_config`.
2023-02-15 15:31:32
675
原创 OSError: libcudart.so.9.0: cannot open shared object file: No such file or directory
这是cuda版本的问题，这里提到的只是造成该报错的一种原因，其他问题也可能导致此种报错我用到的是pytorch/pytorch 1.7.1-cuda11.0-cudnn8-devel在容器中运行时，提示我没有dgl包（代码中有import dgl）所以在容器中直接pip install dgl，下载成功后再次运行，报错如下dgl._ffi.base.DGLError: /opt/dgl/src/runtime/XXX总之就是刚下的dgl有问题后来找到一个解决方式是p
2022-04-26 14:51:32
2263
原创 容器中不能vim/vi
在用不同镜像启容器的时候，可能会发现一个问题，有的镜像可以直接vim修改文件，有的则提示bash: vim: command not found也就是没有vim块，这就很麻烦了，有些配置和路径设置都需要在容器中直接进行修改，这个原因主要是在制作镜像时的差异，这个没什么办法，有些镜像出厂的时候就带有vim有些就没有，只能自己下载了。正常思路是用别的工具包类似yum等等来下载vim，但我在操作时发现，每个包都没有......非常绝望，每一个要用的上级工具包都没有，这得什么时候才能下完啊，而且有
2022-04-26 13:52:18
1179
原创 Bert在NLP任务中的应用
首先需要改变的一个思路是，模型不是固化的套路。并不是一定的输入，得到与其对应的一种输出，当一个强大的模型用于完成某个任务，是因为模型功能强大可以应用于此任务，但不是只能用于该类型的任务。改变思路，模型的作用将千变万化。BertBert模型的分为输入部分和输出部分，如上图所示，输入部分可以是一个单独的句子，也可以是多个句子。输出部分可以是一个分类结果，可以是每个token的分类结果，可以是输入内容的一部分，也可以是一段完整的句子接下来细化的分析其功能Input单个句子的
2022-04-21 21:06:12
880
原创 Xshell+docker镜像/容器+tensorflow环境下的模型训练全过程
首先介绍实验背景，需要在远程服务器上搭建tensorflow1.0版本环境并训练一个实体识别模型xshell首先，看看本地服务器是否有需要的镜像docker images可以看到我所用的服务器有我所需要的tensorflow1.0版本镜像如果本地没有所需镜像可以输入docker search tensorflow或docker search tensorflow1.12可以在docker hub 公共仓库中找到相关镜像接着docker pull 镜像名就
2022-03-17 21:50:30
2375
原创 docker镜像与容器
作为初学者，镜像和容器这两个概念折磨了我很久，现在终于有了一点自己的理解，简单记录一下首先镜像可以看成是多个文件叠加在一起的只读文件，或者可以理解为一个操作系统，例如docker hub是官方的公共镜像仓库，里面有15000多个镜像，比如什么pytorch、tensorflow这些都是其中的一个单独的镜像。容器则是依赖于镜像构建的一个操作环境，是可读写的。举个例子，在一个全新的电脑装系统的时候，Windows或Linux这些就属于镜像，你无法对这个操作系统做什么，而装好系统后你的电脑就是容器
2022-03-17 10:17:27
1057
原创 Transformer
***AI领域非常重要的模型，按自己的理解讲解一下原理***与seq2seq不同，transformer里没有用到任何循环神经网络，而只用到了self-attention自注意力机制，这也导致词嵌入方式和encoder以及decoder的工作方式有了一些改变。首先明确一点，transformer模型就是由一堆encoder和一堆decoder连在一起构成的，在原文中两个coder都是6个，且都是线性连接的即当前输入得到一个输出，该输出成为下一个新输入以此类推。1.Encoder1.1 P
2022-02-18 11:30:22
755
原创 excel文件直接导入neo4j构建图谱
from py2neo import Graph, Relationship, Nodeimport xlrdg = Graph("xxx", username="neo4j", password="neo4j123")readbook = xlrd.open_workbook(r'xxx')sheet1 = readbook.sheets()[0]sheet_rows = sheet1.nrowsfor i in range(sheet_rows): if i == 0: .
2022-01-15 16:11:57
2781
原创 Neo4j删除重复节点
首先如果节点间有关系，需要先删除两个节点间的关系MATCH (g:'Person') WITH g.id as id, collect(g) AS nodes WHERE size(nodes) > 1 UNWIND tail(nodes) as tails MATCH (tails)-[r]-() DELETE r之后再删除重复节点MATCH (g:'Person') WITH g.id as id, collect(g) AS nodes WHERE size(nodes).
2022-01-14 17:25:40
1758
2
原创 csv文件数据直接导入neo4j构建知识图谱
from py2neo import Node, Relationship, PropertyDict, Graphimport csvg = Graph("", username="neo4j", password="neo4j123")with open(r'', 'r', encoding='gbk') as r: reader = csv.reader(r) for item in reader: if reader.line_num == 1: .
2022-01-14 14:56:35
1163
原创 Seq2Seq(Attention)
#学习笔记#（图在上，对应讲解在下）首先seq2seq模型可以用来处理许多NLP相关任务，这里介绍加入attention机制的意义以及算法对于普通Seq2Seq模型，Encoder本身是一个RNN模型，下面的x1,x2,x3,...,xm是embedding过的词向量，对应的h1,h2,3,...,hm是每个时间段对应的输出状态由于RNN的运作机制，每个词的信息都会一路保留至hm，也就是说hm内含有所有词向量的相关信息，这部分作为Encoder的输出s0(这里的s0=hm)，同时作为Decode
2022-01-13 15:11:38
1232
原创 浅谈CNN卷积核的工作原理
之前看过很多次相关的讲解，似懂非懂，还总是忘，这次记下来。首先明确几个概念：1、卷积核其实就是一个矩阵（2*2，3*3等等），它的作用就是提取特征2、CNN网络训练时会初始化卷积核的内的权值，而网络训练的目的就是提高卷积核提取特征的能力上图左侧是将每一个参数都全连接到每一个神经元上，若输入参数很多，则会导致计算困难，为了简化计算，选择上图右侧的局部感受野，即每个神经元只管一整张图的一部分，只要所有神经元的所管理的部分加起来可以覆盖整张图就可以了。概念中提到了卷积核的作用是提取特征，也
2022-01-04 21:32:09
2649
原创 predict = model(test_batch).data.max(1, keepdim=True)[1]
*model是我实验中实例化的模型，不重要*是一些自己做实验时遇到的问题，仅仅是一些比较浅显的理解这里.max(1,keedim=True)[1]的意思是：首先括号里的1代表需要查找第二维中的最大值，keepdim=true时对应维度被变成1（具体见探究 torch.max() 中 keepdim 参数的影响_绫清隆的博客-优快云博客）例如上图是model(test_batch).data的结果上图是model(test_batch).data.max(1, keepdim=Tru
2022-01-04 20:17:26
3065
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人