
机器学习
yrk0556
yrk0556@foxmail.com联系我
展开
-
linux配置tensorflow2.6的一些问题
conda 已经为我们安装软件提供了非常大的便利。如果用conda安装TensorFlow,他会自动给我们安装匹配好的cuda以及cudnn。注意cuda,在conda中是以cudatoolkit名称存在的。conda 安装tf但是conda的库一般不全,一般新版的tf是没有的,所以有的时候我们需要用pip来安装新版的tf包。例如conda install cudatoolkit=11.0conda install cudnn=8.2.1pip install tensorflow==2.6.0原创 2021-09-18 00:25:59 · 473 阅读 · 0 评论 -
关于model.to(‘cuda‘)的一个小问题
刚刚遇到一个问题,这个模型里面的pretrained_word_embedding是保存在内存中的,但是这个模型是放在GPU中的,这样不是不行么,怎么会有这种操作?后来发现是,即使这个embedding原本在内存中,在进行model.to('cuda')时候,已经全部被移动到了显存里面,因为这行代码的意思就是把模型移动到显存,模型是什么?模型就会这个模型携带的全部参数,而这个embedding也是这个model的参数,当然也被移动到显存中去了。...原创 2021-09-09 20:09:47 · 2449 阅读 · 1 评论 -
使用nohup命令在后台训练我们的模型
深度学习的训练任务需要较长时间,当我们利用SSH工具连接GPU服务器训练时,可以利用下面的nohup命令代替直接使用python: nohup python -u train.py &其中,train.py 是你训练脚本的名称;后面加上&符号,可以使得我们就算关掉了session连接,远程服务器也可以保持训练任务的运行。使用nohup命令时,原本打印到控制台的日志信息会保存在当前目录的nohup.out目录下,我们可以利用 tailf nohup.out 实时查看进度。训练完毕后,也转载 2021-09-09 13:05:13 · 975 阅读 · 0 评论 -
机器学习中的MLP和MAP
MLP就是最大似然估计MAP是最大后验证估计,利用贝叶斯公式。参考:https://zhuanlan.zhihu.com/p/32480810原创 2021-08-03 22:37:22 · 812 阅读 · 0 评论 -
pagerank算法总结
原始的pagerank算法对每个节点给定一个初始pr值迭代直到节点值不变: 对所有节点,按照概率将节点的pr值分配给其他节点(对于其他节点是一个收集值的累加过程)这里会出现几种case:case1:出现了dead enddead end就是死节点,没有出边,分配给该节点的pr值,由于没有出边,所以直接归零。在多次迭代后,慢慢的所有的pr值都会被消耗殆尽,归于沉寂。多次迭代后结果(假设初始pr值都为1/4):case2:出现了Spider Traps只有入边没有出边,pr值只原创 2021-08-01 20:02:27 · 558 阅读 · 0 评论 -
Transformer中Q,K,V的理解
Query,Key,Value的概念取自于信息检索系统,举个简单的搜索的例子来说。当你在某电商平台搜索某件商品(年轻女士冬季穿的红色薄款羽绒服)时,你在搜索引擎上输入的内容便是Query,然后搜索引擎根据Query为你匹配Key(例如商品的种类,颜色,描述等),然后根据Query和Key的相似度得到匹配的内容(Value)。来源:https://zhuanlan.zhihu.com/p/48508221可以参考下图,每一个单词都有QKV这三个向量,这里运用了注意力机制,也有是会去求其他单词和该单词的.原创 2021-02-20 12:43:46 · 21538 阅读 · 10 评论 -
docker以及conda常用命令
学院集群startdocker -c "python3 /ghome/yurk/NeuRec-new/main.py" bit:5000/deepo_9 --dropout=0.4sudo docker stop id 关闭正在运行的镜像sudo docker ps 查看正在运行的镜像chk_gpu 在gwork使用,查看gpu使用状态 调用shellstartdocker -u "-it" -c /bin/bash bit:5000/deepo_9切换当前目录os.chdir('原创 2021-01-12 12:04:24 · 671 阅读 · 0 评论 -
pytorch在nn.module中training字段的作用
原创 2021-01-08 19:59:06 · 548 阅读 · 0 评论 -
变分自编码VAE模型理解
从暑假看到现在终于在<这篇文章>的帮助下搞懂了,期间看了无数的中文关于vae的博客文章,一个个基本上不是少讲了这个就是少讲了那个,最后总是搞不懂,还走了不少弯路,去研究变分推断本身,其实只是为了看懂vae的原理,是不必深度了解变分推断的。话不多说,说正题,这里我只会讲下大概,具体的请看原始文章。自编码模型自编码模型是把原始特征压缩为中间维度,再讲中间维度解码为原始特征,最后衡量在这编码和解码的过程中损失了多少的信息,将这个损失的信息降到最低。但是在这个过程中,模型可能会为了降低这个lo原创 2020-12-30 20:40:44 · 585 阅读 · 0 评论 -
sklearn.metrics中的roc_auc_score理解以及使用
import numpy as npfrom sklearn import metricsimport matplotlib.pyplot as pltlabel=np.array([1,1,-1,-1])scores=np.array([0.7,0.2,0.4,0.5])fpr,tpr,thresholds=metrics.roc_curve(label,scores)print('FPR:',fpr)print('TPR:',tpr)print('thresholds:',thresho原创 2020-12-04 23:03:09 · 30467 阅读 · 3 评论 -
pandas切片
data[a,b]这种只能对行切片,a,b分别为行的开始和结束索引data['列名'] 选取指定的一列data.loc[col_start:col_end,[列名的列表]]只能子啊知道列名的情况下使用data.iloc[col_start:col_end,row_start:row_end]支持行列索引使用,类似numpy,推荐参考:https://blog.youkuaiyun.com/yoonhee/article/details/76168253...原创 2020-10-18 16:55:28 · 278 阅读 · 0 评论 -
记录下按照cuda的过程(win10+python3.7+cuda10.0+cudnn7.6.5+TensorFlow1.13.2)
今天按照一下午,终于算是搞好了,记录一下安装过程。1.更新显卡驱动(驱动下载)。在设备管理器中找到显卡对于的型号,然后去上面地址里面选择相应的驱动下载2.下载cuda(点这下载),cuda的版本和Python,tf,cudnn都要对应。对应表网上能搜到。这里注意每个小版本是不一样的,需要安装10.0就不能选择10.1!这个界面是选择操作系统的型号的!!!我好几次当成了选择cuda的型号,明明是win10选了个8.1.。。。,注意注意!!!这里已经自动给cuda的bin目录加入环境变量了,可以用原创 2020-07-29 22:36:44 · 424 阅读 · 0 评论