深度学习笔记
关注
分享
扫一扫
文章平均质量分 61
计算机视觉基础知识、论文阅读笔记等
正则化
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
论文阅读笔记Deep learning for event-driven stock prediction
阅读笔记github地址：https://github.com/13672825021/PaperReading/blob/master/%E8%AE%BA%E6%96%87%E9%98%85%E8%AF%BB%E7%AC%94%E8%AE%B0Deep%20learning%20for%20event-driven%20stock%20prediction.pdf...原创 2019-03-05 12:23:09 · 1106 阅读 · 0 评论 -
论文阅读笔记：node2vec Scalable Feature Learning for Networks
论文阅读笔记github地址：https://github.com/13672825021/PaperReading/blob/master/%E8%AE%BA%E6%96%87%E9%98%85%E8%AF%BBnode2vec%20Scalable%20Feature%20Learning%20for%20Networks.pdf原创 2019-03-05 12:15:43 · 251 阅读 · 0 评论 -
论文阅读笔记Fake News Detection on Social Media A Data Mining Perspective
阅读笔记github地址：https://github.com/13672825021/PaperReading/blob/master/%E8%AE%BA%E6%96%87%E9%98%85%E8%AF%BB%E7%AC%94%E8%AE%B0Fake%20News%20Detection%20on%20Social%20Media%20A%20Data%20Mining%20Perspec...原创 2019-03-05 12:23:56 · 1189 阅读 · 0 评论 -
基于奇异值分解方法（SVD）的推荐算法
主要介绍SVD算法的原理、公式推导、算法优缺点、适用场景、改进方向以及如何应用在推荐系统中，具体实验报告在github上https://github.com/zhongzhh8/PaperReading/blob/master/SVD_%E9%92%9F%E5%B1%95%E8%BE%89_15352446.pdf...原创 2019-03-06 21:32:15 · 1626 阅读 · 1 评论 -
一维卷积（结合书本内容）
因为想要学CNN，所以必须先想起来卷积是个什么东西（数字信号课上学过但早忘了），于是百度卷积，结果都是一脸懵逼点进去一脸懵逼退出来，知乎上“如何通俗易懂地解释卷积？”的回答解释的也一点不通俗易懂，查了大半个小时硬是看不懂他们在讲什么。最终还是把书本（数字信号处理，Sanji K.Mitra作）翻出来看，5分钟懂了。所以说我跟那个书本谈笑风生啊，书本不知道比你们高到哪里去了！1、卷积定义：x...原创 2019-03-09 10:53:49 · 3299 阅读 · 3 评论 -
pycharm学生账户申请延长
https://blog.youkuaiyun.com/sophia8890/article/details/73456851上面文章的方法亲测有效转载 2019-04-10 00:27:01 · 6924 阅读 · 0 评论 -
Keras的Embedding函数
我在学习项目https://github.com/zonetrooper32/VDCNN的时候，觉得vdcnn.py里Embedding的用法有误，原代码中的写法为：embedded_chars = Embedding(input_dim=sequence_length, output_dim=embedding_dim)(inputs) #embdding层的输入是inputsEm...原创 2019-05-08 22:01:07 · 4720 阅读 · 0 评论 -
Pycharm同步linux服务器进行远程开发
每次都在本地Pycharm上编写代码，再上传服务器运行，太麻烦，每次调试都得重新上传代码，所以试一试Pycharm远程开发，注意Pycharm必须是专业版，社区版没有远程开发功能。账号激活的问题参考：https://blog.youkuaiyun.com/weixin_41519463/article/details/89167183开始配置远程开发1、为pycharm添加远程服务器配置打开pyc...原创 2019-05-06 17:57:23 · 1083 阅读 · 4 评论 -
linux服务器安装Anaconda、安装两种python环境、安装tensorflow、运行python程序
下载Anaconda3安装文件：可以直接在服务器上下载，也可以在windows电脑上下载然后上传到服务器：（1）服务器上下载：wget https://repo.continuum.io/archive/Anaconda3-4.2.0-Linux-x86_64.sh（2）官网https://www.anaconda.com/distribution/下载linux版本，用rz命令上传到服务...原创 2019-04-18 10:43:00 · 3946 阅读 · 0 评论 -
tensorflow/keras指定运行时显卡及限制GPU用量
tensorflow和基于tensorflow的keras运行时会自动占用所有gpu，为了限制程序的gpu占用量，可以指定程序只使用某一个gpu，参考：https://blog.youkuaiyun.com/A632189007/article/details/77978058其中可以在程序开头位置加入语句import osos.environ["CUDA_VISIBLE_DEVICES"] ...原创 2019-05-08 16:54:17 · 1521 阅读 · 0 评论 -
交叉熵
https://blog.youkuaiyun.com/mieleizhi0522/article/details/80200126转载 2019-04-11 20:52:25 · 126 阅读 · 0 评论 -
余弦相似度
计算两个向量的相似度，可以用余弦相似度：分子就是2个向量的内积，分母是两个向量的模长乘积。其取值范围是[-1,1]cosine值越大，说明夹角越接近0度，两个向量越相似；cosine值越小，说明夹角越接近180度，两个向量越不相似；此外，可以加个负号之后，得到误差函数：error= -1 *cosine(a,b)，这样的话error值越小，两向量越相似，这样更加直...原创 2019-06-05 21:49:48 · 3940 阅读 · 0 评论 -
Python实现Word2Vec(yandexdataschool/nlp_course)
学习github上的nlp课程https://github.com/yandexdataschool/nlp_course，以下是其中第一课embedding的实验部分seminar.iqynb的实现代码。https://github.com/yandexdataschool/nlp_course/blob/master/week01_embeddings/seminar.ipynb看完上面那...原创 2019-04-30 22:03:06 · 877 阅读 · 0 评论 -
linux服务器上用Anaconda安装Pytorch
首先安装Anaconda：https://blog.youkuaiyun.com/weixin_41519463/article/details/89373643然后用命令source ~/.bashrc # 激活Anacondaconda --version #检查conda是否能用开始安装Pytorch，由于我的服务器显卡为cuda8，因此对应的pytorch版本为：只能安装这个版本，...原创 2019-05-07 17:09:10 · 3795 阅读 · 0 评论 -
Word Embedding内容概述和总结(yandexdataschool/nlp_course)
课程地址：https://github.com/yandexdataschool/nlp_course/tree/master/week01_embeddingsLSAlatent semantic analysis（LSA），潜语义分析。将文章和单词懂映射到语义空间（ “concept” space ）上，并在该空间进行对比分析。在搜索中，文档的相似性并不应该由两个文本包含的词直接决定，而...原创 2019-04-30 22:12:38 · 576 阅读 · 0 评论 -
深度学习（CV）显存占用分析
深度学习（CV）显存占用分析一般来说，占用显存大的并不是输入图像，而是神经网络中的中间变量以及使用optimizer算法时产生的巨量的中间参数。参考https://oldpan.me/archives/how-to-calculate-gpu-memory占用显存大概分以下几类：模型中的参数(卷积层或其他有参数的层)模型在计算时产生的中间参数(也就是输入图像在计算时每一层产生的输入和输出...原创 2019-09-09 23:12:34 · 4104 阅读 · 2 评论 -
优化器算法（Optimizer）
神经网络训练过程中用到的优化器简介（最主要是SGD）。1、Batch Gradient Descent （BGD）批梯度下降用整个训练集数据计算梯度，再一次性更新。以分类问题为例，就是每个epochfor i in range(nb_epochs): #每个epoch更新一次梯度 params_grad = evaluate_gradient(loss_function, data, p...原创 2019-09-07 20:34:02 · 700 阅读 · 0 评论 -
信息检索指标mAP
信息检索指标mAPmAP，顾名思义，即AP的平均值，那么就需要先计算AP，然后再对其进行平均。在信息检索中，如果数据库中和查询信息相关的5条信息，分别出现在查询结果中的第1、3、6、9、10位，那么这次查询的AP就是：得到多条查询的AP值，对其进行平均，就得到了mAP。Reference信息检索评价指标图像检索：信息检索评价指标...原创 2019-09-15 18:25:11 · 4537 阅读 · 4 评论 -
win10用Anaconda安装pytorch
首先安装Anaconda：采用清华镜像下载。网址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/这里在最后一行选择Anaconda3-5.1.0-Windows-x86_64.exe版。勾选add Anaconda进入系统路径，这样才能用conda命令然后开始安装pytorch：首先进入 Pytor...原创 2019-08-18 20:15:15 · 554 阅读 · 0 评论 -
Deep collaborative embedding for social image understanding论文阅读笔记
笔记github地址https://github.com/zhongzhh8/PaperReading/blob/master/Deep collaborative embedding for social image understanding.md论文公式太多，优快云上传图片太麻烦原创 2019-09-17 09:51:32 · 333 阅读 · 0 评论 -
Dual Encoding for Zero-Example Video Retrieval论文阅读笔记
https://github.com/zhongzhh8/PaperReading/blob/master/Dual%20Encoding%20for%20Zero-Example%20Video%20Retrieval%20Note.md原创 2019-09-17 18:35:58 · 722 阅读 · 0 评论 -
Bert提取句子特征（pytorch_transformers）
Bert提取句子特征（pytorch_transformers）本文主要讲如何调用pytorch_transformers这个包来提取一个句子的特征。pytorch_transformerspytorch_transformers Quickstartpytorch_transformers包含BERT, GPT, GPT-2, Transfo-XL, XLNet, XLM 等多个模型，并...原创 2019-09-15 20:33:29 · 39593 阅读 · 71 评论 -
Precision, Recall, F1, ROC, AUC
分类任务评估指标以分类任务虚假新闻检测（Fake news detection）为例讲解几个评估指标fake news detection 可看做二元分类任务，其四个经典的评估标准有：True Positive (TP): when predicted fake news pieces are actually annotated asfake news;（被检测为fake news 且...原创 2019-09-13 19:48:40 · 1030 阅读 · 0 评论 -
linux服务器上安装Anaconda、pytorch、tensorflow
安装Anaconda从别人的文件夹那里cp个Anaconda3-5.0.1-Linux-x86_64.sh到我的目录下，然后安装bash Anaconda3-5.0.1-Linux-x86_64.sh 一路按Enter和yes，最后问是否安装VS的时候按no，就安装完毕了。安装过程中它会把Anaconda的路径加入到 ~/.bashrc 中，安装完之后要激活安装source ~/.b...原创 2019-08-30 22:43:13 · 1372 阅读 · 0 评论 -
RNN、LSTM、GRU、Attention、Transformer、Bert笔记
RNN、LSTM、GRU、Attention https://github.com/zhongzhh8/PaperReading/blob/master/RNN_LSTM__GRU_Attetion.mdTransformer https://github.com/zhongzhh8/PaperReading/blob/master/Trainsformer.mdBert https...原创 2019-09-17 19:41:00 · 2541 阅读 · 0 评论 -
交叉熵(cross_entropy)
https://github.com/zhongzhh8/PaperReading/blob/master/%E4%BA%A4%E5%8F%89%E7%86%B5.md原创 2019-09-21 11:47:27 · 443 阅读 · 0 评论 -
pytorch入门教程笔记
pytorch入门教程pytorch官方中文版教程文章目录一、Tensor二、自动微分三、神经网络四、图像分类器1、加载数据集2、定义网络模型3、损失函数和优化器4、Train5、Test6、在GPU上训练五、数据并行处理Example一、TensorTensors 类似 ndarrays，Tensors可以放到GPU上计算。构造tensor：x = torch.rand(5, 3) ...原创 2019-09-06 21:20:17 · 199 阅读 · 0 评论 -
ResNet笔记
https://github.com/zhongzhh8/PaperReading/blob/master/ResNet%E7%AC%94%E8%AE%B0.md原创 2019-09-20 20:05:19 · 114 阅读 · 0 评论 -
词嵌入（word embedding）、文本分类（Text Classification）概要知识笔记
词嵌入（word embedding）github笔记的地址https://github.com/zhongzhh8/PaperReading/blob/master/text_classification.md文本分类（Text Classification）github笔记的地址https://github.com/zhongzhh8/PaperReading/blob/maste...原创 2019-09-17 18:07:34 · 1033 阅读 · 0 评论 -
OctConv论文阅读笔记
github笔记地址：https://github.com/zhongzhh8/PaperReading/blob/master/OctConv%E7%AC%94%E8%AE%B0.md原创 2019-09-17 18:24:39 · 252 阅读 · 0 评论 -
李宏毅Deep Reinforcement Learning笔记
https://github.com/zhongzhh8/PaperReading/blob/master/%E6%9D%8E%E5%AE%8F%E6%AF%85DeepRL.md原创 2019-09-25 15:30:52 · 253 阅读 · 0 评论 -
计算模型FLOPs和参数量
在pytorch环境下，有两个计算FLOPs和参数量的包thop和ptflops，结果基本是一致的。thop参考https://github.com/Lyken17/pytorch-OpCounter安装方法：pip install thop使用方法：from torchvision.models import resnet18from thop import profilemode...原创 2019-10-09 20:05:55 · 18060 阅读 · 10 评论 -
resnet18与resnet50
ResNet18的18层代表的是带有权重的 18层，包括卷积层和全连接层，不包括池化层和BN层。Resnet论文给出的结构图参考ResNet详细解读结构解析：首先是第一层卷积使用7∗77∗7大小的模板，步长为2，padding为3。之后进行BN，ReLU和maxpool。这些构成了第一部分卷积模块conv1。然后是四个stage，代码中用make_layer()来生成stage...原创 2019-11-28 16:50:59 · 29299 阅读 · 6 评论 -
pytorch model.apply lambda setattr
我在看SLIMMABLE NEURAL NETWORKS模型代码的时候，被他的这句代码给绕懵了model.apply(lambda m: setattr(m, 'width_mult', width_mult))他同时包含了apply、lambda、setattr几个我不懂的点，所以我费了很多时间才搞懂了这句话的意思。他其实等价于下面这段代码def fn(m): setat...原创 2019-11-22 17:17:02 · 1569 阅读 · 4 评论 -
PolicyGradient结合blockdrop讲解
https://github.com/zhongzhh8/PaperReading/blob/master/PolicyGradient%E7%BB%93%E5%90%88blockdrop.md原创 2019-09-22 19:20:24 · 244 阅读 · 0 评论 -
pytorch加载预训练模型中的部分参数
有时候我们构建的模型跟预训练模型的网络结构是不相同，为了将预训练模型中与我们模型重合的部分加载进来，就需要用到加载部分参数的方法，比如说预训练模型结构为：ResNet18 -> fc我们要构建的模型结构为 ResNet -> fc1 -> fc2我们希望把在预训练模型中训练好的ResNet18加载进新模型的ResNet18里（因为不想加载预训练模型的fc层，所以新模...原创 2019-09-28 11:57:42 · 5120 阅读 · 10 评论 -
PyTorch保存和加载模型(全面汇总)
pytorch 中的 state_dict 是一个简单的python的字典对象,将每一层与它的对应参数张量建立映射关系.(如model的每一层的weights及偏置等等)只有那些参数可以训练的layer才会被保存到模型的state_dict中,如卷积层,线性层等等。优化器对象Optimizer也有一个state_dict,它包含了优化器的状态以及被使用的超参数(如lr, momentum,w...原创 2019-11-22 18:41:46 · 5230 阅读 · 5 评论 -
BlockDrop: Dynamic Inference Paths in Residual Networks论文阅读笔记
BlockDrop笔记：https://github.com/zhongzhh8/PaperReading/blob/master/BlockDrop.mdBlockDrop实验代码部分笔记：https://github.com/zhongzhh8/PaperReading/blob/master/BlockDrop_exp.md原创 2019-09-23 21:40:57 · 1063 阅读 · 1 评论 -
Binary Cross Entropy
参考Understanding binary cross-entropy / log loss此笔记有内容与机器学习逻辑回归算法原理、伪代码及实现效果展示 交叉熵(cross_entropy)重合Introduction训练一个二元分类器（ binary classifier）的时候，往往会用到binary cross-entropy / log loss作为损失函数。下面详细介绍这个损失...原创 2019-09-23 18:05:30 · 23835 阅读 · 3 评论 -
pyplot绘制论文折线图
Matplotlib是Python中最著名的绘图库。这里就是用matplotlib.pyplot来绘制论文实验部分所需的折线图。画出来的折线图：所涉及到的要素有：一个figure包含两个子图，用subplot实现图片直接生成展示或者保存成pdf格式，用plt.show()或者pdf.savefig()折线图的画法，点、线形状、颜色，参考Matplotlib 点、线形状及颜色图的标题...原创 2019-12-27 21:14:19 · 3047 阅读 · 0 评论