记录与分享AI资料与学习过程

conda环境启动jupyter notebook，但是环境没有切换的问题在conda中切换环境，启动jupyter notebook后，启动的jupyter中的环境是base的环境，不是期望的环境。

自然语言处理NLP-seq2seq attention的提出-计算方式及pytorch实现seq2seq attention的论文出处attention机制引入要解决的问题encoder得到的固定向量直接送入decoder，不利于较长句子的信息传递 提取decoder中目标单词需要关注原文中的语义信息seq2seq decoder的构成seq2seq attention的经典形式pytorch实现Seq2Seq中dot型attention的注意力

自然语言处理NLP-RNN、RNN长程依赖导致的梯度问题、LSTM、GRU、LSTM前向代码实现RNN发生梯度消失的原因是什么？RNN中梯度问题是长程依赖导致的远距离的梯度更新问题，和DNN中的梯度消失有所不同。RNN中梯度本身不会消失，但是远距离时间步产生的梯度会消失。遇到梯度爆炸可以尝试的解决方法RNN中使用ReLU可以解决梯度消失问题吗？GRU和LSTM的差别LSTM为什么能够解决梯度消失/爆炸的问题？pytorch实现LSTM前向传播过程

本人按照暴力匹配、Sunday、shift-And、KMP。希望能够由简到难，明晰思想，厘清逻辑以及熟悉一些编程的处理方式，希望能够化解算法思想缺失和编程能力不足导致的算法进阶迷茫。Sunday算法不再逐个位置比较，通过对pattern串的元素情况的分析，向后跳一定长度，减少了计算量。shift-And将pattern串的每个元素进行按位编码，将匹配问题转换为高位的与运算，用p来记录当前高位的匹配情况。KMP算法利用了pattern字符串的前缀和后缀信息，找到未匹配字符前最长的相同前缀和后缀信息来进行跳转

针对深度学习模型配置环境不方便的问题，通常会在K8s集群上采用docker方式运行深度学习相关的服务，由于GPU型号的换代以及nvidia驱动、cuda版本的升级，快速构建一个能够让自己深度学习模型或服务跑起来的docker镜像，能够提升生产效率。文中附有nvidia驱动、cuda、cudnn的版本依赖文档，便于查看资料。本文介绍比较简单无脑的方式，利于新手上路。同时帮助在校学生能够快速构建镜像，利用学校的K8s集群开始自己的深度学习之旅。需要安装好docker和nvidia-docker

本文把许多深度学习相关环境配置、版本查询和镜像源配置的基础操作都统一整理出来，提升实际操作的效率。包括 cuda、cudnn、nvidia驱动版本、linux内核版本的对应，pytorch、tensorflow、paddle对应的cuda、cudnn版本。以及 conda源配置， docker中conda源配置。pip配置文件的查找和pip源的修改。

深度学习加速框架onnxruntime-gpu的环境依赖，pytorch转onnx环境，最近遇到2080ti显卡的训练与部署环境，迁移到3090显卡的机子上面，由于30系显卡需要nvidia cuda11版本以上才支持，原先的驱动比较老了只能支持cuda10.2。根据当前的版本情况，本文记录一下pytorch转onnx，用onnxruntime-gpu进行部署的一些版本依赖。附上cuda10.1与cuda11.3下的两套，cuda、cudnn、onnxruntime-gpu环境配置

伴随着bert、transformer模型的提出，文本预训练模型应用于各项NLP任务。文本分类任务是最基础的NLP任务，本文回顾最先采用CNN用于文本分类之一的textcnn模型，意在巩固分词、词向量生成、任务词表构建、预训练向量加载、深度学习网络构建、模型训练、验证、预测等NLP模型构建的基本流程。本文从零开始构建基于textcnn的文本分类模型（上）分享word2vec向量训练，预训练词向量模型加载，pytorch Dataset、collete_fn、Dataloader转换数据集并行加载