tendency

transformer 由 encoder 和decoder 组成 1.1 Encoder由N=6个相同的layer组成，layer分别由multi-head self-attention mechanism 和 fully connected feed-forward network 组成，这两个分别都加了 residual connection 和 normalisation。 multi-head Attention 可以看成多个self-attention的结合 对于self-attention.

每看一次都有新感觉。 好文链接：https://zhuanlan.zhihu.com/p/32404424

深度学习大全：https://github.com/ChristosChristofidis/awesome-deep-learning 花书要点：https://zhuanlan.zhihu.com/p/61528654 互联网常见面试题：https://www.zhihu.com/question/24964987/answer/586425979 leetcode解题之路：https://g...

登陆docker： sudo docker exec -it ID bash 查看GPU使用： nvidia-smi 指定使用GPU： export CUDA_VISIBLE_DEVICES=ID 运行shell脚本： source 1.sh sh 1.sh bash 1.sh chmod +x ./1.sh （添加权限） 加 ./1.sh 终止进程：kill -...

LeNet-5 CNN分类网络开端，用于手写字符识别识别率相当高。 创建卷积框，设置大小、步长、数量等，对图像进行卷积操作，提取特征的操作，池化降维，全连接分类输出。之后的分类网络都是基于此框架进行的优化。 AlexNet 作为2012年ImageNet分类冠军，把LeNet发扬光大，运用了Relu，Dropout，LRN等trick，并且使用GPU加速。 使用Relu 对梯度衰减进行加速，并...

保存加载模型参数 torch.save(the_model.state_dict().PATH) the_model = TheModelClass(*args,**kwargs) the_model.load_state_dict(torch.load(PATH)) 保存加载整个模型 torch.save(the_model,PATH) the_model =torch.load(PATH...

anconda官网下载3.6版本，正常安装，完成后打开anaconda prompt 先配置清华镜像的环境 conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsinghua.edu...

基本概念： 使用图（graphs）来表示计算内容，图中的节点称为op（operation），一个op获得0个或者多个Tensor，执行运算 使用会话（Session）的上下文（context）中执行图，，图必须在会话里被启动 使用tensor表示数据，可以看作一个n维的数组或列表 通过变量（Variable）维护状态 使用feed 和fetch 可以任意操作赋值或者从中提取数据 softmax：...

安装： 安装anaconda3.0以上版本，打开anaconda prompt，输入anaconda search -t conda tensorflow 查看一个操作系统对应的版本号，然后选择对应的linux 或者win的对应的Name。例如win-64是 dhirschfeld/tensorflow。然后输入 anaconda show dhirschfeld/tensorflow 查看安装...