BoCong-Deng的博客

OverviewOverviewUsagesTF-IDFBM25LSHSIFFastTextRNN BaseCNN BaseBert BaseAlbertNEZHARoBERTaSimCSEOverviewDataset: 中文/English 语料, ☞ 点这里Paper: 相关论文详解, ☞ 点这里The implemented method is as follows:：TF-IDFBM25LSHSIF/uSIFFastTextRNN Base (Siamese RNN,

本文打算讨论在深度学习中常用的十余种损失函数，结合PyTorch和TensorFlow2对其概念、公式及用途进行阐述，希望能达到看过的伙伴对各种损失函数有个大致的了解以及使用。本文对原理只是浅尝辄止，不进行深挖，感兴趣的伙伴可以针对每个部分深入翻阅资料。

在聊GradientTape之前，我们不得不提一下自动微分技术，要知道在自动微分技术之前，机器学习社区中很少发挥这个利器，一般都是用Backpropagation(反向传播算法)进行梯度求解，然后使用SGD等进行优化更新。梯度下降法（Gradient Descendent）是机器学习的核心算法之一，自动微分则是梯度下降法的核心，梯度下降是通过计算参数与损失函数的梯度并在梯度的方向不断迭代求得极值

Keras的Tokenizer是一个分词器，用于文本预处理，序列化，向量化等。在我们的日常开发中，我们经常会遇到相关的概念，即token-标记、tokenize--标记化以及tokenizer--标记解析器。Tokenizer类允许通过将每个文本转换为整数序列（每个整数是字典中标记的索引）或转换成矢量（其中每个标记的系数可以是二进制的）的矢量化语料库，基于单词数 ，基于TF-IDF等等。形如如下使用创建方式：

写在前面GitHubTensorFlow原文档TensorFlow版本：2.3引言很多时候，我们希望在模型训练完成后能将训练好的参数（变量）保存起来，在需要使用模型的其他地方载入模型和参数，就能直接得到训练好的模型。而TensorFlow 正好提供了tf.train.Checkpoint这一强大的变量保存与恢复类，可以使用其 save() 和 restore() 方法将 TensorFlow 中所有包含 Checkpointable State 的对象进行保存和恢复。不过有一点要注意的是，Chec