sslfk的博客

gpt2生成的训练验证的感想

基于bert的下游任务训练实现样例：simcse

基于transformer和相关预训练模型的任务调优

TextVectorization的相关介绍：普通字符串如何进行快速数字化转换

tf-idf的计算方式，可以用于用户画像、物品画像的构建

零样本学习模型介绍

语义纠错模型

文本相似性模型总结

情感分类模型

https://github.com/bojone/SimCSE源代码如下：def simcse_loss(y_true, y_pred): """用于SimCSE训练的loss """ # 构造标签 idxs = K.arange(0, K.shape(y_pred)[0]) idxs_1 = idxs[None, :] idxs_2 = (idxs + 1 - idxs % 2 * 2)[:, None] y_true = K.equal

最近看了一篇最新的Sentence Embedding论文，今年4月份的，丹琦大神发表的《Simple Contrastive Learning of Sentence Embeddings》， 简称就是SimCSE，直译过来就是 基于简单对比学习句子嵌入。和没有对比学习的Bert相比，个人认为最大的区别就是：考虑到了拉大当前样本和不相关样本的距离，uniformity。 而原始的Bert仅仅考虑了相似样本越相似越好，也就是Alignment。整篇文章的关键词有两个，simple 和 Contrast

1、transformer整体流程：2、dot-product attention以及分别对应的在encoding和decoding中对应的内容：对应的公式为：1、 对于encoding部分来说，Q、K、V都是输入的序列向量矩阵，比如，输入 我爱你，则三个对应的都是对每一个字进行enbedding后的序列矩阵A；而对应就是value值对应的权重，可以称之为输入词的重要性权重2、对于decoding来说，第一步时，设置一个默认开始内容，后面内容（假设最长长度用n全部遮罩处理后最为o

对应的tensorflow版本：2.5.0+textcnn模型如下：import tensorflow as tfclass ConvMaxPooling1d(tf.keras.layers.Layer): def __init__(self, filters, kernel): super(ConvMaxPooling1d, self).__init__() self.kernel_size = kernel #(batch_size

方法1：序列化构建：model = keras.Sequential([ keras.layers.Flatten(input_shape=(28,28)), keras.layers.Dense(128,activation=tf.nn.relu), keras.layers.Dense(10,activation=tf.nn.softmax) ])方法2：基于tf.keras.Modelimport tensorflow as tf...

tensorflow的预训练模型网址为：https://hub.tensorflow.google.cn已经下载好的预训练模型：bert_zh_L-12_H-768_A-12的v4版本（链接：https://pan.baidu.com/s/1Ld_mvXf8Es4lwCaW1PgKsQ提取码：3xba）和bert_zh_preprocess的v3版本（链接：https://pan.baidu.com/s/1jseOQKlVj88-Hpak2PXsCw提取码：s9eq）模型离线加载：im..

1.GlobalMaxPooling1D:在steps维度（也就是第二维）对整个数据求最大值。比如说输入数据维度是[10, 4, 10]，那么进过全局池化后，输出数据的维度则变成[10, 10]。是对步长维度的向量求最大值。故会产生维度压缩2.MaxPooling1D：也是在steps维度（也就是第二维）求最大值。但是限制每一步的池化的大小。 比如，输入数据维度是[10, 4, 10]，池化层大小pooling_size=2，步长stride=1，那么经过MaxPooling(pooling_

input维度为(batch,step,embedding_size)参数配置：strides,卷积核每次移动的距离，默认为1kernel_size为卷积核宽度filters:输出空间维度则最后返回的数据维度为：

千言（LUGE）| 全面的中文开源数据集合进一步的了解后续跟进

BPE方法可以认为是对一个1到n的ngram分词方式使用剪枝法（将有先后依赖，且词频重合度较高的词合并）比如，输入的句子中，abc:50,abcd:49，那么就可以在49/50>Threshold时，直接删除abc这个词。这就是剪枝。可以用来减少词集合...

TensorFlow HubHugging Face – The AI community building the future.tensorflow 对应的git hub:GitHub - tensorflow/hub: A library for transfer learning by reusing parts of TensorFlow models.有遗漏的欢迎留言补充

CNN tensorflow

模型加载问题

字符串如何embedding

tf.keras.layers 和 tf.nn.layers的对比

新闻递归抓取网页url和内容

动态 爬虫

模型保存的格式.h5和.pb对比

离线摘要生成

NLP对应的算法包括：分词 词向量 句子向量 命名实体识别 意图识别预训练的模型内容查看：Models - Hugging Facetransformers工具的说明文档参考：???? Transformers著名网络博主：huggingface-Transformer学习笔记1 - 知乎Huggingface Transformers库学习笔记（一）：入门（Get started）_u011426236的博客-优快云博客_huggingface transformers入门.