myaijarvis notebook

讲得非常好。

【参考：一个函数打天下，einsum - 知乎】【参考：Machine-Learning-Collection/transformer_from_scratch.py at master · aladdinpersson/Machine-Learning-Collection】理解Transformer【参考：Pytorch Transformers from Scratch (Attention is all you need) - YouTube】【参考：Machine-Learning-Col

【参考：使用PaddleNLP进行恶意网页识别（五）：用BERT识别恶意网页内容 - 飞桨AI Studio】代码更新，仿造pytorch，特此记录import osimport sysimport codecs # 编码转换import chardet # 第三方编码检测模块import shutilimport reimport timeimport numpy as npimport pandas as pdimport jiebafrom tqdm import tqdm,

【参考：HuggingFace学习2：使用Bert模型训练文本分类任务_呆萌的代Ma的博客-优快云博客】数据集：【参考：利用LSTM+CNN+glove词向量预训练模型进行微博评论情感分析（二分类）_你们卷的我睡不着QAQ的博客-优快云博客】文本处理import pandas as pdimport numpy as npdf = pd.read_csv("weibo_senti_100k.csv", encoding="gbk")df.head()import redf.in

蓝斯诺特【参考：Transformer简明教程, 从理论到代码实现到项目实战, NLP进阶必知必会._哔哩哔哩_bilibili】举了一个实例，计算过程浅显易懂【参考：NLP - Transformer_伊织_的博客-优快云博客】【参考：lansinuote/Transformer_Example | github】下面略有修改import torchimport randomimport numpy as npimport mathtorch.manual_seed(100)m

官方：https://pytorch.org/tutorials/beginner/basics/saveloadrun_tutorial.html【参考：PyTorch保存和加载模型_正则化的博客-优快云博客】保存和加载权重参数PyTorch 模型将学到的参数存储在内部状态字典中，称为 state _ dict。可以通过 torch.save 方法持久化这些内容:#----把模型中的参数保存成字典的形式, 不保存网络模型的结构, 官方推荐----torch.save(model.state_d

【参考：NLP-HMM隐马尔可夫+维特比分词，代码+数据+讲解_哔哩哔哩_bilibili】 ppt浅显易懂【参考：shouxieai/nlp-hmm-word-cut: nlp-hmm-word-cut】如何通俗地讲解 viterbi 算法？ - 路生的回答 - 知乎如何通俗地讲解 viterbi 算法？ - JustCoder的回答 - 知乎PPT代码import picklefrom tqdm import tqdmimport numpy as npimport os

【参考：pytorch_BiLSTM 命名实体识别 手写代码_哔哩哔哩_bilibili】【参考：shouxieai/nlp-bilstm_crf-ner: nlp-bilstm+crf-ner】"""2022/4/22"""import osimport numpy as npimport torchimport torch.nn as nnfrom torch.utils.data import DataLoader, Datasetimport torch.optim as op

【参考：YJango的循环神经网络——实现LSTM - 知乎】 强烈建议阅读手动实现重置门 r_t更新门 z_t候选隐藏状态 n_th_t 增量更新得到当前时刻最新隐含状态∗ is the Hadamard product. 不是矩阵相乘矩阵元素对应位置相乘【参考：31 - GRU原理与源码逐行实现_取个名字真难呐的博客-优快云博客】【参考：31、PyTorch GRU的原理及其手写复现_哔哩哔哩_bilibili】单层单向import torchfrom torch

【参考：详解LSTM - 知乎】手动实现【参考：30、PyTorch LSTM和LSTMP的原理及其手写复现_哔哩哔哩_bilibili】单层单向【参考：30 - LSTM,LSTMP手撸代码_取个名字真难呐的博客-优快云博客】import torchfrom torch import nntorch.manual_seed(0) # 设置随机种子，随机函数生成的结果会相同batch_size = 2 # 批次大小seq_len = 3 # 输入序列长度input_siz

【参考：【循环神经网络】5分钟搞懂RNN，3D动画深入浅出_哔哩哔哩_bilibili】参数理解上面这张图最能表明RNN的运行原理【参考：pytorch中RNN参数的详细解释_lwgkzl的博客-优快云博客】自己的笔记 【参考：【PyTorch深度学习实践 | 刘二大人】B站视频教程笔记_myaijarvis的博客-优快云博客】多层、双向RNN【参考：循环神经网络的改进：多层RNN、双向RNN与预训练_DeepGeGe的博客-优快云博客】...

【参考：python深度学习之基于LSTM时间序列的股票价格预测_柳小葱的博客-优快云博客】import numpy as npimport pandas as pdimport matplotlib.pyplot as plt导入数据data=pd.read_csv("zgpa_train.csv")df=pd.DataFrame(data,columns=['date','close']) #只取日期和收盘价两列数据标准化from sklearn.preprocessing

资料【参考：《PyTorch深度学习实践》完结合集_哔哩哔哩_bilibili】【参考 分类专栏：PyTorch 深度学习实践_错错莫的博客-优快云博客】全【参考 分类专栏：PyTorch_kodoshinichi的博客-优快云博客】全，巨详细【PyTorch_笔记 分类: pytorch | BirandaのBlog】全【参考 分类专栏：pytorch深度学习实践_王泽的随笔的博客-优快云博客】总结多看官方API文档的参数，理解并熟记9 多分类问题手写数据集 *** 模板PyTo

开源项目：【深入浅出PyTorch | GitHub】参考【GitHub-第四章 基础实战——FashionMNIST时装分类】经过前面三章内容的学习，我们完成了以下的内容：对PyTorch有了初步的认识学会了如何安装PyTorch以及对应的编程环境学习了PyTorch最核心的理论基础（张量&自动求导）梳理了利用PyTorch完成深度学习的主要步骤和对应实现方式现在，我们通过一个基础实战案例，将第一部分所涉及的PyTorch入门知识串起来，便于大家加深理解。同时为后续的进阶学习打好

【参考：[1706.03762] Attention Is All You Need】2017【参考：详解Transformer （Attention Is All You Need） - 知乎】Abstract主要的序列转换模型是基于复杂的循环或卷积神经网络，包括编码器和解码器。性能最好的模型还通过注意机制连接编码器和解码器。我们提出了一种新的简单网络架构——Transformer，它完全基于注意力机制，完全摒弃了递归和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上更优，同时具有更强的并行性

【参考：transformer的细节到底是怎么样的？ - 知乎】待看【参考：熬了一晚上，我从零实现了Transformer模型，把代码讲给你听 - 知乎】代码待回顾【参考：超详细图解Self-Attention - 知乎】浅显易懂公式解读词向量之间相关度高表示什么？是不是在一定程度上（不是完全）表示，在关注词A的时候，应当给予词B更多的关注？【参考：Transformer - Attention is all you need 论文解读- 知乎】浅显易懂self-attention计算

可以看看这个 【参考：CNN中feature map、卷积核、卷积核个数、filter、channel的概念解释，以及CNN 学习过程中卷积核更新的理解_xys430381_1的专栏-优快云博客】【参考：卷积核（kernel）和过滤器（filter）的区别_xu.hyj-优快云博客】一维卷积【参考：深度学习面试题09：一维卷积（Full卷积、Same卷积、Valid卷积、带深度的一维卷积） - 黎明程序员 - 博客园】【参考：卷积神经网络中的batch到底是什么？ - 知乎】batch是批

参考：《Tensorflow和keras-深度学习人工智能实践应用》第13、14章GitHub：点我部分封装函数请看文章：【keras】1. MNIST手写数据集识别（重要）_myaijarvis notebook-优快云博客步骤数据预处理分析数据import urllib.request # 下载文件import osimport tarfile # 解压缩文件# 下载数据集url="http://ai.stanford.edu/~amaas/data/sentiment/

参考：《Tensorflow和keras-深度学习人工智能实践应用》第11、12章GitHub：点我部分封装函数请看文章：【keras】1. MNIST手写数据集识别（重要）_myaijarvis notebook-优快云博客文章：【keras】2. CIFAR-10图像识别_myaijarvis notebook-优快云博客数据预处理分析数据import numpy as npimport pandas as pdimport matplotlib.pyplot as pltnp.

参考：《Tensorflow和keras-深度学习人工智能实践应用》第9、10章GitHub：点我部分封装函数请看文章：【keras】1. MNIST手写数据集识别（重要）_myaijarvis notebook-优快云博客数据集数据预处理import numpy as npimport pandas as pdimport matplotlib.pyplot as pltnp.random.seed(10)下载数据文章：keras离线下载cifar数据集_lsh呵呵-CSD

参考：《Tensorflow和keras-深度学习人工智能实践应用》第6、7、8章

标量，向量，矩阵与张量1、标量一个标量就是一个单独的数，一般用小写的的变量名称表示。2、向量一个向量就是一列数，这些数是有序排列的。通常会赋予向量粗体的小写名称。我们可以把向量看作空间中的点，每个元素是不同的坐标轴上的坐标。计算机中一般把向量视为行向量,shape为(n)，列向量为矩阵,shape为(n,1)3、矩阵矩阵是二维数组，其中的每一个元素被两个索引而非一个所确定。我们通常会赋予矩阵粗体的大写变量名称，比如A。4、张量几何代数中定义的张量是基于向量和矩阵的推广，通俗一点理解的话