DarrenXf的专栏

import numpy as npimport matplotlib.pyplot as plt import mathdef create_data(w1=3,w2=-7,b=4,seed=1,size=30): np.random.seed(seed) w = np.array([w1,w2]) x1 = np.arange(0,size) v = ...

Attention Is All You Needpaperhttps://arxiv.org/pdf/1706.03762.pdf注意力就是你需要的所有摘要主导的序列转换模型是基于复杂的循环或卷积神经网络，包括编码器和解码器。最佳性能的模型还通过注意力机制连接编码器和解码器。我们提出了一种新的简单的网络结构，即Transformer，它只是基于注意力机制，完全不需要循环和卷积。两...

tableI translated it myself. It may not be authoritative.indexEnglishChinese1Automatic speech recogniton自动语音识别2CCG supertaggingCCG 超级标记3Common sense常识4Constituency parsing...

papersThe Unreasonable Effectiveness of Recurrent Neural Networkshttps://karpathy.github.io/2015/05/21/rnn-effectiveness/Understanding LSTM Networkshttps://colah.github.io/posts/2015-08-Understan...

papersThe Unreasonable Effectiveness of Recurrent Neural Networkshttps://karpathy.github.io/2015/05/21/rnn-effectiveness/Understanding LSTM Networkshttps://colah.github.io/posts/2015-08-Understan...

涉及的论文GANhttps://papers.nips.cc/paper/5423-generative-adversarial-nets.pdfDCGANhttps://arxiv.org/pdf/1511.06434.pdf测试用的数据集Celeb-A Faces数据集网站:http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html下载...

涉及的论文Neural Conversational Model https://arxiv.org/abs/1506.05869Luong attention mechanism(s) https://arxiv.org/abs/1508.04025Sutskever et al. https://arxiv.org/abs/1409.3215GRU Cho et al. https:/...

数据集这个数据集是一个很小的imagenet的子集.下载链接https://download.pytorch.org/tutorial/hymenoptera_data.zip下载下来以后unzip hymenoptera_data.zip文件夹结构./data/hymenoptera_data/ ->train/ ...

python 实现单隐层神经网络,处理cifar10数据集forward_neural_network.py#!/usr/bin/python# -*- coding: utf-8 -*-###################################### File name : forward_neural_network.py# Create date : 2018-12-...

实现反向传播的算法可以在python2以及python3中运行,在我的测试环境中可以运行.我并没有详细去测试每一个python版本.算法中使用的数据是mnist数据集.下面是算法的代码forward_neural_network.py#!/usr/bin/python# -*- coding: utf-8 -*-#####################################...

安装pip install gpustat或者 换源pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --upgrade gpustat使用gpustat -cpu或者watch --color -n1 gpustat -cpu显示输出

nvidia-msi或者watch -n 1 nvidia-smi打印出表格中：第一栏的Fan：N/A是风扇转速，从0到100%之间变动，这个速度是计算机期望的风扇转速，实际情况下如果风扇堵转，可能打不到显示的转速。有的设备不会返回转速，因为它不依赖风扇冷却而是通过其他外设保持低温（比如我们实验室的服务器是常年放在空调房间里的）。第二栏的Temp：是温度，单位摄氏度。第三栏的Per...

paperhttps://arxiv.org/abs/1606.08415个人翻译，并不权威高斯误差线性单元摘要我们提出高斯误差线性单元（GELU)，一个高性能的神经网络激活函数。GELU的非线性是通过随机地应用恒等或0来映射一个神经网络的输入的随机正则化的预期转换。GELU的非线性权重输入通它们的量级而不是像ReLU那样通过输入的符号控制输入。我们执行一个关于GELU,ReLU...