DAICONG’s Blog

文章目录1.GPU单机多卡并行训练1.1 torch.nn.DataParallel1.2 参考2.TPU训练2.1 torch.nn.DataParallel2.2 参考1.GPU单机多卡并行训练1.1 torch.nn.DataParallel我一般在使用多GPU的时候, 会喜欢使用os.environ[‘CUDA_VISIBLE_DEVICES’]来限制使用的GPU个数, 例如我要使用第0和第3编号的GPU, 那么只需要在程序中设置:os.environ['CUDA_VISIBLE_DEVIC

1. lookhead传统的优化器是L（sita）lookhead优化器是使用f（x）将sita进行包装，然后进行k次迭代，最后求l（sita）损失函数的值最小，当k等于1时，和传统的求梯度是一样的， 但是在进行进行k 迭代时，效果会比传统的更快更好。2. radam...

不同版本的代码需要不同的环境，如果环境都装在base环境下就会导致环境更换繁琐严重降低开发和测试的效率，所以创建虚拟环境的必要性不言而喻conda create -n daicongDemo1 python=3.7conda env listsource activate daicongDemo1source deactivate daicongDemo1...

目录1、Bootstrap2、Bagging3、Random Forest4、贝叶斯公式4.1预习4.2 条件概率的意义4.3 条件概率公式4.4 贝叶斯公式4.5 贝叶斯与朴素贝叶斯1、BootstrapBootstrap Method:在统计学中，Bootstrap从原始数据中抽取子集，然后分别求取各个子集的统计特征，最终将统计特征合并。例如求取某国人民的平均身高，不可能测量每一个人的身高，但却可以在10个省市，分别招募1000个志愿者来测量并求均值，最终再求取各省市的平均值。2、Bagging

attention机制word2vecseq2seqEmbeddingTransformerRNNLSTMBertGpt3SvmCRFDecision TreeRandom Forest

pip3 download -d . -r 1.txt -f https://download.pytorch.org/whl/torch_stable.html --no-cache-dirpip install --no-index --find-links=./pytorch -r 1.txtcat 1.txttorch==1.8.0+cu101torchvision==0.9.0+cu101torchaudio==0.8.0

1. 项目来源项目来源2. 环境配置!pip install torch==1.8.0 -i https://pypi.douban.com/simple!pip install torchvision==0.9.0 -i https://pypi.douban.com/simple!pip install Image -i https://pypi.douban.com/simple3. 数据下载轴承故障.tar提取码：yxju4. 文件夹创建mkdir -p input output

Effective Approaches to Attention-based Neural Machine Translationnlp三大顶会：ACL、EMCNLP、NACL学起于思，思起于疑合抱之木，生于毫末，九层之台，起于垒土，千里之行，始于足下NMT 神经机器翻译neural Machine transtationeos sos bos end、star of sentence端到端模型：撒见和训练都非常的简单符合人类的翻译直觉，即阅读源的一句话，-明白意思–翻译成目标的一句话s

1. 项目来源项目来源2. 环境配置!pip install torch==1.8.0 -i https://pypi.douban.com/simple!pip install torchvision==0.9.0 -i https://pypi.douban.com/simple!pip install Image -i https://pypi.douban.com/simple3. 数据下载catVSdog.zip提取码：hpgn4. 文件夹创建mkdir -p input ou