DarrenXf的专栏

Proximal Policy Optimization Algorithms 近端策略优化算法论文地址https://arxiv.org/abs/1707.06347个人翻译，并不权威John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg KlimovOpenAI{joschu, filip, prafulla, alec, oleg}@openai.comABSTRACT 摘要我们提出了一种新的强化学习策略梯

CONTINOUS CONTROL WITH DEEP REINFORCEMENT LEARNING论文地址https://arxiv.org/abs/1509.02971个人翻译，并不权威Timothy P.Lilicrp,Jonathan J.Hunt,Alexander Pritzel, Nicolas Heess,Tom Erez, Yuval Tassa, David Silver & Daan WierstraGoogle DeepmindLondon,UK{count

papersThe Unreasonable Effectiveness of Recurrent Neural Networkshttps://karpathy.github.io/2015/05/21/rnn-effectiveness/Understanding LSTM Networkshttps://colah.github.io/posts/2015-08-Understan...

task listAutomatic speech recognitionCCG supertaggingCommon senseConstituency parsingCoreference resolutionDependency parsingDialogueDomain adaptationEntity linkingGrammatical error correct...

tableI translated it myself. It may not be authoritative.indexEnglishChinese1Automatic speech recogniton自动语音识别2CCG supertaggingCCG 超级标记3Common sense常识4Constituency parsing...

收集匆忙，并不保证准确datasetindexdatasetAbbreviationtasknote1LiBriSpeechAutomatic speech recogniton2WSJAutomatic speech recogniton3Hub5’00 EvaluationAutomatic speech recogniton...

paperhttps://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf个人翻译，并不权威语言模型是非监督多任务学习器摘要自然语言处理任务，比如问答，机器翻译，阅读理解和摘要，通常是通过在具体任务数据集上的监督学习方法处理的。我们证明语言模型开始学习这些任务没有任何显示的监督, 当训练在一...

Attention Is All You Needpaperhttps://arxiv.org/pdf/1706.03762.pdf注意力就是你需要的所有摘要主导的序列转换模型是基于复杂的循环或卷积神经网络，包括编码器和解码器。最佳性能的模型还通过注意力机制连接编码器和解码器。我们提出了一种新的简单的网络结构，即Transformer，它只是基于注意力机制，完全不需要循环和卷积。两...

paperhttps://arxiv.org/abs/1606.08415个人翻译，并不权威高斯误差线性单元摘要我们提出高斯误差线性单元（GELU)，一个高性能的神经网络激活函数。GELU的非线性是通过随机地应用恒等或0来映射一个神经网络的输入的随机正则化的预期转换。GELU的非线性权重输入通它们的量级而不是像ReLU那样通过输入的符号控制输入。我们执行一个关于GELU,ReLU...

implement OpenAI gptpapersGaussian Error Linear Unitstranslate to chineseAttention Is All You Needtranslate to chineseImproving Language Understanding by Generative Pre-Trainingtranslate to chi...

paper OpenAI GPT Improving Language Understanding by Generative Pre-Traininghttps://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf个人...

BERT个人翻译，并不权威。paperhttps://arxiv.org/pdf/1810.04805.pdfBERT:Pre-training of Deep Bidirectional Transformers for Language Understanding 深度双向Transformers预训练解决语言理解Abstract 摘要我们引入被叫做BERT的新的语言表示模型，...

涉及的论文spatial transformer networks in the DeepMind paper <https://arxiv.org/abs/15 06.02025>转换对比step lossstep accgithub:https://github.com/darr/spatial_transformer_networks...

涉及的论文GANhttps://papers.nips.cc/paper/5423-generative-adversarial-nets.pdfDCGANhttps://arxiv.org/pdf/1511.06434.pdf测试用的数据集Celeb-A Faces数据集网站:http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html下载...

安装pip install gpustat或者 换源pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --upgrade gpustat使用gpustat -cpu或者watch --color -n1 gpustat -cpu显示输出

实现反向传播的算法可以在python2以及python3中运行,在我的测试环境中可以运行.我并没有详细去测试每一个python版本.算法中使用的数据是mnist数据集.下面是算法的代码forward_neural_network.py#!/usr/bin/python# -*- coding: utf-8 -*-#####################################...

MNIST 网站http://yann.lecun.com/exdb/mnist/四个文件train-images-idx3-ubyte.gz: training set images (9912422 bytes) train-labels-idx1-ubyte.gz: training set labels (28881 bytes) t10k-images-idx3-ubyte...

cifar10 数据网站http://www.cs.toronto.edu/~kriz/cifar.html读取下面的文件CIFAR-10 binary version (suitable for C programs) 162 MB c32a1d4ab5d03f1284b67883e8d87530下载cifar-10-binary.tar.gz 到./data/文件夹下cd ./da...

python 实现单隐层神经网络,处理cifar10数据集forward_neural_network.py#!/usr/bin/python# -*- coding: utf-8 -*-###################################### File name : forward_neural_network.py# Create date : 2018-12-...

Install anaconda and then install cudatoolkitI use the system Ubuntu.Open the link:https://www.anaconda.com/download/#linuxI choose the python 2.7 x86_64.As matter of fact,I do not clearly underst...

make sure the things below.1.your machine has a nvidia gpu.2.installed gpu cuda and cudnn.how to install mxnet?pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --upgrade mxnet-cu90us...

测试minpy 调用gpu 加速numpy的矩阵相乘.main.py#!/usr/bin/python# -*- coding: utf-8 -*-###################################### File name : main.py# Create date : 2019-01-05 17:11# Modified date : 2019-01-08 ...

下面是我机器中的cpu和gpu型号31.4 GiBIntel® Core™ i7-8700K CPU @ 3.70GHz × 12 GeForce GTX 1080 Ti/PCIe/SSE264-bit代码会在下面给出先看下整体的输出效果 对比了float32 float64 分别用numpy,torch cpu 以及torch gpu 运算矩阵相乘运行1000次 方阵大小1-50...

测试minpy 调用gpu 加速numpy的矩阵相乘. 小矩阵相乘小矩阵相乘,行数在1-1000.测试用的都是方阵.所以元素数木在1到一百万.测试元素数目一到100万的矩阵相乘.上一篇中可以看到在行数超过1000的时候,gpu相对于cpu就会有绝对的加速效果.但是在行数1000以前会看到,gpu并不一定能够起到加速计算的效果.这里我们针对1-1000来看下.main.py#!/usr/...

涉及的论文Neural Conversational Model https://arxiv.org/abs/1506.05869Luong attention mechanism(s) https://arxiv.org/abs/1508.04025Sutskever et al. https://arxiv.org/abs/1409.3215GRU Cho et al. https:/...

nvidia-msi或者watch -n 1 nvidia-smi打印出表格中：第一栏的Fan：N/A是风扇转速，从0到100%之间变动，这个速度是计算机期望的风扇转速，实际情况下如果风扇堵转，可能打不到显示的转速。有的设备不会返回转速，因为它不依赖风扇冷却而是通过其他外设保持低温（比如我们实验室的服务器是常年放在空调房间里的）。第二栏的Temp：是温度，单位摄氏度。第三栏的Per...