DarrenXf的专栏

Soft Actor-Critic Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor 1801.01290论文地址https://arxiv.org/abs/1801.01290个人翻译，并不权威Tuomas HaarnojaAurick ZhouPieter AbbeelSergey LevineAbstract 摘要无模型深度强化学习(RL)算法Model-free deep

paperhttps://arxiv.org/abs/1606.08415个人翻译，并不权威高斯误差线性单元摘要我们提出高斯误差线性单元（GELU)，一个高性能的神经网络激活函数。GELU的非线性是通过随机地应用恒等或0来映射一个神经网络的输入的随机正则化的预期转换。GELU的非线性权重输入通它们的量级而不是像ReLU那样通过输入的符号控制输入。我们执行一个关于GELU,ReLU...

implement OpenAI gptpapersGaussian Error Linear Unitstranslate to chineseAttention Is All You Needtranslate to chineseImproving Language Understanding by Generative Pre-Trainingtranslate to chi...

paper OpenAI GPT Improving Language Understanding by Generative Pre-Traininghttps://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf个人...

papersGaussian Error Linear Unitstranslate to chineseAttention Is All You Needtranslate to chineseImproving Language Understanding by Generative Pre-Trainingtranslate to chineseLanguage Models ...

GLUE 是一个自然语言任务集合，包括以下这些数据集namefull nametaskchineseMNLIMulti-Genre NLINatural language inference自然语言推断QQPQuora Quora Question PairsSemantic textual similarity/Paraphrase identifica...

pytorch gpu 显存调试如何运行 gpu_memory_logimport torchfrom gpu_memory_log import gpu_memory_logdtype = torch.floatN, D_in, H, D_out = 64, 1000, 100, 10device = torch.device("cuda")x = torch.randn(N,...

stock_codestock code, stock symbol美股股票代码file us_stock_code.csv code name0 A 安捷伦1 AA ...

pip 安装matplotlib 没有能成功，打印出错误Beginning with Matplotlib 3.1, Python 3.6 or above is required原因本地环境是python 3.6以下的版本。解决如果不升python 版本的话， 降低要安装的matplotlib版本。出现这个问题，安装的版本应该是matplotlib 3.1试着降低版本pip in...

解决 No module named ‘matplotlib.finance’import matplotlib.finance as mpf然后使用mpf.candlestick_ochl出现上面的问题。出现这个问题的原因是在使用的matplotlib版本中， finance 库已经被剔除了。需要使用的话，就得安装。安装finance 库pip install -i http...

XLNet: Generalized Autoregressive PreTraining for Language Understanding个人翻译，并不专业。论文地址https://arxiv.org/pdf/1906.08237.pdfXLNet: 语言理解的广义自回归预训练摘要具有双向上下文建模，自动编码去燥的能力与基于自动回归语言模型的预训练方法相比，基于BERT的预训...

Attention is all you needTransformerLayerNorm(x + Sublayer(x))整理的Transformer 伪代码输入 Inputs 输出 OutputsX = Positional_Encoding(Input_Embedding(Inputs))X = LayerNorm(X + Multi-Head_Attention(X))X ...

paperhttps://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf个人翻译，并不权威语言模型是非监督多任务学习器摘要自然语言处理任务，比如问答，机器翻译，阅读理解和摘要，通常是通过在具体任务数据集上的监督学习方法处理的。我们证明语言模型开始学习这些任务没有任何显示的监督, 当训练在一...

收集匆忙，并不保证准确datasetindexdatasetAbbreviationtasknote1LiBriSpeechAutomatic speech recogniton2WSJAutomatic speech recogniton3Hub5’00 EvaluationAutomatic speech recogniton...

默认系统装的是Ubuntu 16.04，并且安装了显卡驱动。走过很多坑，这些软件之间是互相依赖的，所以我们只安装这些固定的版本。CUDA 9.0 cuDNN 7.0 tensorflow-gpu 1.8.0 希望以后会更容易安装些。如果不是这篇文章写了很久，就照着这篇文章做，不要试图去安装这里涉及软件的最新版本。第一步先安装 CUDA 9.0。这个并不是官方默认最新的。下载地址...

测试minpy 调用gpu加速numpy的矩阵相乘.小矩阵相乘,前面的文章中已经看到行数超过1000的方阵,基本上gpu就能起到加速效果.我们现在想知道的是具体的minpy 和numpy 性能的拐点.以此帮助我们决定使用cpu还是gpu. 具体结果测试应该是根据机器所不同的,我们这里的结果只是我们测试机的的结果.上一篇测试的时候只是测试了运行一次的时间,矩阵比较小时,测试到的运行时间误差比较大,...

测试minpy 调用gpu 加速numpy的矩阵相乘.main.py#!/usr/bin/python# -*- coding: utf-8 -*-###################################### File name : main.py# Create date : 2019-01-05 17:11# Modified date : 2019-01-08 ...

下面是我机器中的cpu和gpu型号31.4 GiBIntel® Core™ i7-8700K CPU @ 3.70GHz × 12 GeForce GTX 1080 Ti/PCIe/SSE264-bit代码会在下面给出先看下整体的输出效果 对比了float32 float64 分别用numpy,torch cpu 以及torch gpu 运算矩阵相乘运行1000次 方阵大小1-50...

测试minpy 调用gpu 加速numpy的矩阵相乘. 小矩阵相乘小矩阵相乘,行数在1-1000.测试用的都是方阵.所以元素数木在1到一百万.测试元素数目一到100万的矩阵相乘.上一篇中可以看到在行数超过1000的时候,gpu相对于cpu就会有绝对的加速效果.但是在行数1000以前会看到,gpu并不一定能够起到加速计算的效果.这里我们针对1-1000来看下.main.py#!/usr/...

数据集这个数据集是一个很小的imagenet的子集.下载链接https://download.pytorch.org/tutorial/hymenoptera_data.zip下载下来以后unzip hymenoptera_data.zip文件夹结构./data/hymenoptera_data/ ->train/ ...

涉及的论文Neural Conversational Model https://arxiv.org/abs/1506.05869Luong attention mechanism(s) https://arxiv.org/abs/1508.04025Sutskever et al. https://arxiv.org/abs/1409.3215GRU Cho et al. https:/...

涉及的论文GANhttps://papers.nips.cc/paper/5423-generative-adversarial-nets.pdfDCGANhttps://arxiv.org/pdf/1511.06434.pdf测试用的数据集Celeb-A Faces数据集网站:http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html下载...

涉及的论文spatial transformer networks in the DeepMind paper <https://arxiv.org/abs/15 06.02025>转换对比step lossstep accgithub:https://github.com/darr/spatial_transformer_networks...

papersThe Unreasonable Effectiveness of Recurrent Neural Networkshttps://karpathy.github.io/2015/05/21/rnn-effectiveness/Understanding LSTM Networkshttps://colah.github.io/posts/2015-08-Understan...

papersThe Unreasonable Effectiveness of Recurrent Neural Networkshttps://karpathy.github.io/2015/05/21/rnn-effectiveness/Understanding LSTM Networkshttps://colah.github.io/posts/2015-08-Understan...

First，查看nvidia-smi 命令：$ nvidia-smiCommand 'nvidia-smi' not found, but can be installed with:sudo apt install nvidia-340 sudo apt install nvidia-utils-390查看显卡信息：$ lspci |grep VGA01:...