- 博客(43)
- 收藏
- 关注
原创 多条件查询--@Select注解里的动态sql语句
多条件查询--@Select注解里的动态sql语句@Insert、@Updata。②@Select注解的值是字符串数组。①@Select注解只能修饰方法。
2022-09-23 17:04:59
6767
原创 使用word2vec训练词向量
安装gensim:pip install gensim准备预料:word2vec中需要sens是经过预处理且用空格进行分词的训练模型w2v_model = gensim.models.Word2Vec(sentences, min_count=5, size=128, window=5)size:词向量的维度,默认值是100。这个维度的取值一般与我们的语料的大小相关,如果是不大的语料,比如小于100M的文本语料,则使用默认值一般就可以了。如果是超大的语料,建议增大维度。window:即词向.
2021-03-11 14:56:48
3467
原创 使用nltk英文文本分词
前言需要对英文句子按空格进行分词,使用nltk.word_tokenize分词即可,返回的是分好词的列表,比较麻烦的是nltk的下载。import nltki = "The ENT physicians did not recommend any procedures , incision and drainage for his right parotitis or left submandibular cervical lymph node necrosis ."tmp_sen_words =
2021-03-08 20:25:12
989
原创 python读取文件夹下的所有文件名称
import os# 获取path下所有文件的文件名,此时返回的是列表rel_path = os.listdir(path + "/rel")
2021-03-08 11:18:51
309
原创 sql命令
1.选择表中的某些字段且某字段的值不等于特定字符串select 字段1,字段2 from 表名 where 字段2 not like '%特定字符串%'2.计算表中有多少数据select count(列名,一列就行) from 表名3.limit指定返回多少条数据在sql语句最后加上limit A,B,表示从A开始抽取满足条件的数据B条,当不够B条时显示真实的数量。select 字段1,字段2 from 表名 where 字段2 not like '%特定字符串%' limit A,B注
2021-01-04 17:05:58
959
1
转载 python保留2位小数
>>> a = 1>>> b = 3>>> print(a/b)0.3333333333333333>>> #方法一:... print(round(a/b,2))0.33>>> #方法二:... print(format(float(a)/float(b),'.2f'))0.33>>> #方法三:... print ('%.2f' %(a/b))0.33...
2021-01-04 16:28:18
2046
原创 pycharm快捷键,使用技巧
1.格式化json字符创建一个.json文件,把该字符串粘贴过来,按ctrl+alt+L ,可以快速格式化json。key值必须是双引号括起来的才行,单引号不起作用。2.找函数ctrl+函数左键点击函数名可以跳到函数定义ctrl+函数左键点击函数定义可以跳到函数定义...
2020-12-29 20:47:51
806
原创 linux,docker命令
1.查看容器的输出结果docker logs [ID或者名字] 可以查看容器内部的标准输出。查看日志docker logs $sample_job 查看日志
2020-12-25 20:03:41
218
转载 如何将元组集合转换为字典
有一个生成N元组的迭代器,但在这里我会假装我有3.它们的长度都很均匀.t1 = (a1, b1, c1)t2 = (a2, b2, c2)t3 = (a3, b3, c3)想将上面内容转换为:d = {a1: [a2, a3], b1: [b2, b3], c1: [c2, c3]}假设列表中的第一个元素不同,使用列表推导来生成结果dict.lists = [['a1', 'b1', 'c1'], ['a2', 'b2', 'c2'], ['a3', 'b3',
2020-12-25 17:59:18
2166
原创 将一个字符串转化对应的数据结构--eval()/json.loads()
前言将字符串形式的列表a = "[[1,2],[3,4]]"转换成列表a = [[1,2],[3,4]]eval()的使用1.eval():计算一个字符串表达式,返回表达式的值2.eval去除引号后会检查到它是不是可计算的,如果去除不可计算(列表,字典等,str不算会报错),则输出里面的值。...
2020-12-25 17:51:51
299
原创 Gitlab在自己账号下新建项目并上传代码
1.在gitlab上新建代码(在自己账号下)点击自己的头像,选择右上方的+必填的是Project path(项目名称),及权限等级选择Visibility Level (?):Private 私有的,只有你自己或者组内的成员能访问Internal 所有登录的用户Public 公开的,所有人都可以访问2.添加ssh密钥在创建项目完成之后,要为该工程添加密钥,否则无法对该工程进行clone和push操作。①生成ssh key,过程会有个passphase: 这个算一个连接凭证,后边会用到
2020-12-25 17:34:30
552
原创 正则匹配
前言起因是公司小姐姐让我写一个正则匹配去处理数据,之前没怎么用过正则匹配,觉得不会太难,结果在网上一搜我蒙????了,太杂太乱了,根本找不到我想要的模板,规则又多,总之看的人头疼,短时间内也没有整明白(可能是因为我有压力吧,觉得是一个很简单的任务,越急越写不出来满意的…)...
2020-12-08 15:58:54
106
原创 python中字典的操作
前言:需要将字典中的值映射到一个list()中,使用defaultdict可以在初始化时预设数据类型和默认值具体可参考博客:https://www.cnblogs.com/jeffrey-yang/p/11277556.htmlfrom collections import defaultdictd = defaultdict(list)此时往字典中添加值时d[key].append(value)从字典中获取某个key的值,在后面加[],找不到时返回一个空列表d.get(key, [])
2020-12-01 10:42:44
127
原创 git的使用
一、 使用git拉取仓库前言详细可以参考以下两个博客:https://blog.youkuaiyun.com/biao_feng/article/details/82837111https://blog.youkuaiyun.com/qq_41870989/article/details/915506361.克隆仓库到本地,并指定拉取该仓库的某个分支的代码,-b是指定拉取某个分支的代码git clone https://xxx.git -b 分支名称2.在本地修改代码后再上传使用git bash here上传①
2020-11-23 11:58:52
147
转载 出现Found Inf or NaN global norm的排查和解决办法
转载自:https://www.pianshen.com/article/59521439167/出现问题的原因输入数据有错出现了运算错误,如除数为0,或者log0梯度爆炸我看到这,就想起了应该是存在运算错误,除数可能存在0,修改后程序可以正常运行。具体的排查方法可以移步去原博客了解。...
2020-11-10 18:07:58
565
原创 数据先传入CPU还是GPU
引入前几天开周会的时候,一个小伙伴提到读入数据,称一般的做法是:先把dataset读到CPU上,然后GPU只读每个batch的数据,这样gpu就不会报内存不足了。我一听,说的有道理啊,但是仔细一想我平时好像不是这样做的。原因硬件条件不同造成的。①小伙伴学校的硬件资源只拥有一块GPU,所以他要保证不能因为他一个人把所有GPU的资源都占用了,分批次读入GPU②我学校的硬件配置是8块GPU只有一块CPU,用一块CPU控制其它GPU的运转,如果把数据都读入CPU的话,会影响到其它GPU的正常运行(估计会被
2020-11-09 10:41:14
687
原创 在docker中下载指定版本的镜像
1.查看本地已有的imagesdocker images2.在docker仓库查找你需要的镜像,比如我这里需要装的是tensorflowdocker search tensorflow但是这样直接下载下来的默认是最新的版本。3.下载指定版本的(tensorflow)镜像①:官网连接②搜索想要的镜像名称:tensorflow③点击Tages,找到需要的版本,记录下来,也提供了可以直接粘贴的命令4.下载镜像docker pull tensorflow/tensorflow:1.1
2020-11-03 15:28:39
6160
原创 LeetCode--双指针
1.pythonclass Solution(object): def twoSum(self, numbers, target): """ :type numbers: List[int] :type target: int :rtype: List[int] """ # 使用两个指针分别指向数组头和尾,最差的结果是把数组都遍历一遍,时间复杂度为O(N),引入了两个额外变量,空间复杂度为O(1) .
2020-10-27 10:55:32
203
1
原创 使用requests请求接口
前言请求命令非常简单,只要下面一句话,为了防止有人像我一样什么都不懂(就去实习了),我把整个请求的过程写一遍,包括传入的数据,和返回的数据该怎么处理。r = requests.post("http://xxxx", data=data1)1.首先,我建议下载Postman这个软件,如下图所示:在post框后面填入接口,此时前面可以不加http://,然后选定你们传入数据的格式,我这里是josn,在下面的内容大框里写入数据,点send就可以得到返回的结果了,结果在下面(向下拉就行)。2.通过第一步
2020-10-23 18:14:25
758
原创 python读写文件
读写txt,csv,xlsx,pkl,npy1.txt文件# 这种方式进行读写操作,可以不用写f.close()# w:每次都重新覆盖并写入新的值# a: 在文件后面追加,不进行覆盖with open("xxx.txt", "w", encoding="utf-8") as f: # out是一个数组,存放要写入的值 for i in out1: f.write(i) f.write(" ") f.write("\n")a1 = [
2020-10-23 17:39:18
229
2
原创 window下安装pytorch出现的两个问题:1.OSError: [WinError 126] 找不到指定的模块。2.from torch._C import *
装环境真的是好好好烦啊啊啊啊,之前在自己电脑上装pytorch的时候一次就成功了,现在在公司发的电脑上重新装,怎么也装不好!首先,你的确保自己装的pytorch版本正确,有cuda的话要查看其版本,如果没有cuda一定要选None,还有建议python版本不要太低,我选的是python=3.7主要是出现以下两个问题:1.OSError: [WinError 126] 找不到指定的模块。参考此博客解决了问题:亲测可用,也就是我下面写的:修改为绝对路径。找到目录C:\ProgramData\Anac
2020-10-12 14:48:44
2009
5
转载 sklearn.metrics中的评估方法介绍(accuracy_score, recall_score, roc_curve, roc_auc_score, confusion_matrix)
转载:https://blog.youkuaiyun.com/u011630575/article/details/79645814
2020-09-27 15:53:36
1106
原创 Pytorch中DataLoader的使用
前言最近开始接触pytorch,从跑别人写好的代码开始,今天需要把输入数据根据每个batch的最长输入数据,填充到一样的长度(之前是将所有的数据直接填充到一样的长度再输入)。刚开始是想偷懒,没有去认真了解输入的机制,结果一直报错…还是要认真学习呀!加载数据pytorch中加载数据的顺序是:①创建一个dataset对象②创建一个dataloader对象③循环dataloader对象,将data,label拿到模型中去训练dataset你需要自己定义一个class,里面至少包含3个函数:①_
2020-09-18 11:14:10
54605
1
原创 ValueError: Object arrays cannot be loaded when allow_pickle=False
ValueError: Object arrays cannot be loaded when allow_pickle=False使用np.load()函数时报错解决方法:将numpy.load(file)–>numpy.load(file,allow_pickle=True)但是我之前加载npy数据时,没有报这个错,检查之后发现是保存数据时少了一个维度。自己目前也不是十分清楚,使用上面的方法可以成功读取数据但在训练的时候也会报错,总之当你数据输入有问题时,读取时可能会报这个错。..
2020-09-05 10:07:50
192
原创 nn.Embedding
Embedding(num_embeddings,embedding_dim)num_embeddings:词嵌入字典大小embedding_dim:每个词嵌入向量大小注意:①embedding层的输入必须是LongTensor,如果不是要进行转换后再输入x = x.type(torch.cuda.LongTensor)②emdedding层的输入不能出现负数(目前还不知道,为什么。。。)...
2020-08-24 11:00:42
811
原创 面向对象(一)
类和对象1.定义类[修饰符] class 类名{0-多个构造器定义0-多个成员变量0-多个方法}①修饰符:public,final,abstract,或完全缺省类名:AaBbCc②构造器:创建对象;初始化对象(的属性);如果没有写构造器,系统默认会提供一个构造器(无参构造器),自己写了构造器,系统不再提供构造器。[修饰符] 构造器名(形参列表){0-多条可执行语句}注:构造器名必须与类名相同构造器是一个特殊的方法,它不能定义返回值类型,也不能用void声明它没有返回值,一旦定
2020-08-19 20:12:59
117
转载 lambda函数
1.语法lambda 参数列表:关于参数的表达式2.特性①匿名的②有输入输出③此函数一般功能较简单3.应用①lambda x, y: xy;函数输入是x和y,输出是它们的积xy②和map函数一起用此时lambda函数用于指定对列表中每一个元素的共同操作。例如map(lambda x: x+1, [1, 2,3])将列表[1, 2, 3]中的元素分别加1,其结果[2, 3, 4]。...
2020-08-03 16:04:10
266
原创 random.seed()
为了保证实验结果可以复现,经常把各种random seed固定在某一个值import numpy as npnum=0while(num<5): np.random.seed(1) print(np.random.random()) num+=1 print('-------------------------') num1=0np.random.seed(2)while(num1<5): print(np.random.random())
2020-08-02 10:07:17
420
原创 from torchcrf import CRF
刚开始接触pytorch和命名实体识别,在跑别人的代码的时候出现这个模块导入错误from torchcrf import CRF网上找到了这个连接pytorch-crf.PyPI(这个包提供了pytorch中条件随机场(crf)的实现)pip install pytorch-crf==0.4.0(不加后面的==0.4.0,不能正确引入)...
2020-07-17 16:07:26
7397
4
原创 keras中的正则化(regularization)
使用正则化来减少模型的过拟合效果conv11 = Conv1D(filters = 8,kernel_size = 4, kernel_initializer = "he_uniform", strides = 1, padding = "same", use_bias = False, kernel_regularizer = regularizers.l2(0.0001))(inputs1)参考博客:https://blog.youkuaiyun.com/xovee/
2020-06-07 09:06:30
2058
转载 Keras.metrics中的accuracy总结
转载来源:https://zhuanlan.zhihu.com/p/952934401. 背景Accuracy(准确率)是机器学习中最简单的一种评价模型好坏的指标,每一个从事机器学习工作的人一定都使用过这个指标。没从事过机器学习的人大都也知道这个指标,比如你去向别人推销一款自己做出来的字符识别软件,人家一定会问你准确率是多少。准确率听起来简单,但不是所有人都能理解得透彻,本文将介绍Keras中accuracy(也适用于Tensorflow)的几个新“玩法”。2. Keras中的accuracy介绍K
2020-06-06 11:29:51
3787
转载 AttributeError: ‘Model‘ object has no attribute ‘predict_classes‘
之前代码是有效的,在更换训练模型后出现提示错误:AttributeError: ‘Model’ object has no attribute ‘predict_classes’因为两次训练时,网络结构不同第一次用的网络是在model=Sequential()下添加模块的的方法,也就是所谓的顺序模型。Sequential class可以使用model.predict_classes()的方法来实现预测;第二次用的方法,是编写好网络结构后使用model=Model()综合起来的方法,也就是Model
2020-05-13 17:24:41
1504
原创 ValueError:None values not supported
代码本来在自己的笔记本上可以顺利运行,换了朋友的电脑报错:网上也百度了很多方法,但自己总觉得是环境的问题最后把keras版本从2.3.1改到2.1.5之后可以顺利运行...
2020-05-06 17:48:24
2832
1
原创 阅读ECG论文记录(二)
Automated Heartbeat Classification Exploiting Convolutional Neural Network With Channel-Wise Attention**创新点:**①提出了一种基于CNN的特定病人心跳分类方法。定制的神经网络提取不同接收场的多个空间特征和通道信息,提高分类性能。②提出了一种记录内样本聚类方法,该方法有利于从数据库中选择具有...
2020-05-03 11:04:03
871
原创 vim复制,显示行号,跳到指定行
复制在命令模式下:1)单行复制:光标移动到要复制的地方,按“yy”进行复制2)多行复制:按“nyy”复制,n表示要复制几行粘贴:光标移动到要粘贴的地方,按p粘贴显示行号1)临时显示命令模式下输入“set number”跳到指定行①行数+G(也就是66+shift+g)②命令行输入“ : n ” 然后回车跳到文件第一行:gg跳到文件最后一行:shift+g...
2020-05-02 22:58:23
1377
转载 ImportError: Could not import PIL.Image. The use of `array_to_img` requires PIL.Image
ImportError: Could not import PIL.Image. The use of load_image requires PIL解决办法:pip3 install pillow
2020-05-02 17:26:31
716
转载 ECG分类(二)
模型搭建两层卷积+两层池化+三个全连接层,作者采用了“多头”输入,3个输入都是同一条数据,但每一个分支设置的卷积核参数不一样:①第一层三个通道的卷积核尺寸分别是4,6,8(个人觉得这里没有使用图像处理中的3x3,1x1等更小卷积核,是因为我们的ECG是一个基于幅值的低频数据,小的感受野不一定能够包含一个较大范围的幅值变化,也就是较小的局部区域,很难构成特征性较强的波形。而为什么没有使用诸如16...
2020-04-27 12:04:09
2208
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人