yuexiaomao的博客

原文：https://towardsdatascience.com/softmax-activation-function-how-it-actually-works-d292d335bd78softmax经常用，但是具体性质这些也没有了解过，正好看了个博客，记录一下：定义：Softmax是一个激活函数，它将numbers/logits扩展为概率。Softmax的输出是一个向量（比如v），带有每个类别概率。对于所有可能的结果或类别，向量v中的概率总和为1。 ...

代码：https://huggingface.co/transformers/model_doc/electra.htmlABSTRACT论文提出了一种高效的基于抽样的预训练任务——替换标记检测。对于一些可以被替换的tokens，用一个小生成网络（generator network ）抽样出token进行替换。接着，作者没有用模型从原始语料库中预测这些被替换的词，而是训练了一个判别模型（discriminative model ），来判断输入中的token是不是被生成网络替换了。新模型.

TFX是一个基于TensorFlow的google生产规模的机器学习工具包。它提供了一个配置框架和共享库，以集成定义、启动和监视机器学习系统所需的通用组件。TFX is a platform for building and managing ML workflows in a production environment. TFX provides the following:A toolkit for building ML pipelines. TFX pipelines let you or

Abstract本文贡献：我们使用中国历史文字(如青铜器文字、篆书、繁体字等)来丰富文字的象形证据; 设计适合中文字符图像处理的CNN结构(称为天泽-CNN); 将图像分类作为多任务学习的辅助任务，以提高模型的泛化能力。作者表明，基于符号的模型能够在广泛的中文NLP任务中始终优于基于字/字符的模型。我们能够为各种中文NLP任务设置最新的结果，包括标记(NER、CWS、POS)、句子对分类、单句分类任务、依赖解析和语义角色标记。例如，所提出的模型在NER的OntoNotes数据集上的F.

本笔记理出来综述中的点，并将大体的论文都列出，方便日后调研使用查找，详细可以看论文。 神经网络的解释：The forward pass com- putes a weighted sum of their inputs from the previous layer and pass the result through a non-linear function. The backward pass is to co...

## Minimal tutorial on packing and unpacking sequences in pytorch.> This is a fork from [@Tushar-N 's gist](https://gist.github.com/Tushar-N/dfca335e370a2bc3bc79876e6270099e). I have added comments and extra diagrams that should (hopefully) make it e.

发现一个不错的综述，后面可针对性的学习。Image Classification[LeNet] [AlexNet] [ZFNet] [VGGNet] [SPPNet] [PReLU-Net] [DeepImage] [GoogLeNet / Inception-v1] [BN-Inception / Inception-v2] [Inception-v3] [Inception-v4] [X...