tf.keras.layers.TextVectorization层介绍及自定义分词器

最新推荐文章于 2025-03-30 18:58:23 发布
原创 最新推荐文章于 2025-03-30 18:58:23 发布 · 994 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#tensorflow

文章介绍了如何在TensorFlow中使用@tf.keras.utils.register_keras_serializable装饰自定义函数，如mysplit，以配合TextVectorization层进行文本处理，包括分词、标准化和自定义分隔符。TextVectorization层不仅支持StringLookup的功能，还提供额外的文本预处理选项。示例展示了模型的保存和加载，并预告了接下来将探讨如何利用indices方法进行embedding查找。

首先上代码：

@tf.keras.utils.register_keras_serializable('my_package')
def mysplit(inputs):
    return tf.strings.split(inputs)
input3 = tf.keras.layers.Input(shape=(1,),name="string_test",dtype=tf.string)
my_string_lookup = tf.keras.layers.TextVectorization(vocabulary=["世界","你","good", "d"],split=mysplit)(input3)
model = tf.keras.Model(inputs=[input3], outputs=my_string_lookup)
model.save("mytest.h5")
my_model = tf.keras.models.load_model("mytest.h5")
print(my_model.predict(["世界 你 good ya"]))

  1. TextVectorization是相对于StringLookup更为复杂的文本处理层，除了支持StringLookup对词库的各种编码方式（indices、one-hot、tf-idf、count）外，还支持对构造词库和请求内容时的标准化、自动分词、去除标点服务、去重多余空格等处理。

  1. 其中标准化、自动分词都可以通过自定义方式进行处理，但是自定义的处理算子需要进行序列化装饰器进行装饰：t

最低0.47元/天 解锁文章
tf.keras.layers.Layer自定义层
NLP与推荐算法
05-09 4547
为了进一步了解上一篇中的class，搜了github如下示例： import tensorflow as tf class MyLayer(tf.keras.layers.Layer): def __init__(self, output_dim, **kwargs): self.output_dim = output_dim super(MyLayer, self).__init__(**kwargs) def build(self, input_
实现keras.textvectorization自由tf-idf篇
TommyDATA的博客
09-10 823
3.2.6、此时，你的一坨keras.text_vectorization东西，已经被fit(adapt)过了，那么它就具备了去对新的文本数据来转换成数学矩阵的能力了，此时，又有一点不同的，它没有transform的方法，而是本身充当了transform（就好比 A ，定义A，fit完A，预测的时候直接 A(预测内容) 来实现transform）是否很高级？首先第一步，你要满足于它的划分标准，比如它的split是根据“逗号”来分的，具体什么忘记了，是逗号还是空格来着；
保姆级教程：手把手教你使用深度学习处理文本
m0_59596937的博客
12-10 2187
大家好，今天给大家分享使用深度学习处理文本，更多技术干货，后面会陆续分享出来，感兴趣可以持续关注。
tf.keras.layers.TextVectorization 示例
weixin_44493841的博客
12-10 4511
将文本要素映射到整数序列的预处理图层。 将不同长度的文本，转换成相同长度的数组 import tensorflow as tf text_layer = tf.keras.layers.TextVectorization( max_tokens=5000, # 词汇表最大尺寸 output_mode='int', # 输出整数索引 ) # 创建 TextVectorization 层 print(text_layer) <keras.layers.preprocessing
中文影评分类的神经网络模型
qq_57390446的博客
04-10 543
本文旨在利用Tensorflow训练一个中文影评二分类神经网络
中文评论情感分类——RNN模型
qq_57390446的博客
04-13 2259
利用TensorFlow训练一个中文文本情感二分类的RNN模型，涉及了LSTM算法
深度学习入门示例之使用keras+tf实现Attention注意力机制.zip
05-10
Keras的`add()`方法可以用来添加自定义层，这将需要实现`call()`函数来定义注意力机制的计算过程。 3. **训练模型**：设置合适的优化器（如Adam）、损失函数（如交叉熵）和评估指标，然后通过`model.compile()`进行...
``` import tensorflow as tf import tensorflow_hub as hub import tensorflow_text as text # 需要安装 import kagglehub # 使用预训练的小型BERT（如bert_en_uncased_L-4_H-512_A-8） bert_preprocess = kagglehub.model_download("tensorflow/bert/tensorFlow2/en-uncased-preprocess") bert_encoder = kagglehub.model_download("tensorflow/bert/tensorFlow2/bert-en-uncased-l-4-h-512-a-8") # 构建分类模型 inputs = tf.keras.layers.Input(shape=(), dtype=tf.string) preprocessed = bert_preprocess(inputs) outputs = bert_encoder(preprocessed) pooled_output = outputs['pooled_output'] x = tf.keras.layers.Dense(64, activation='relu')(pooled_output) predictions = tf.keras.layers.Dense(3, activation='softmax')(x) # 假设3分类 model = tf.keras.Model(inputs=inputs, outputs=predictions) model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy']) tf.keras.optimizers.Adam(learning_rate=3e-5) # 更小的学习率 # 示例数据训练（实际需加载真实数据） texts = ["This is good", "Not satisfied", "Neutral comment"] labels = [0, 1, 2] # 增加验证集和早停机制 val_texts = ["Great product", "Poor quality", "Average experience"] val_labels = [0, 1, 2] # 调整训练参数 model.fit( texts, labels, validation_data=(val_texts, val_labels), epochs=10, batch_size=3, callbacks=[tf.keras.callbacks.EarlyStopping(patience=2)] )```代码检查
03-15
inputs = tf.keras.layers.Input(shape=(), dtype=tf.string) clean_input = tf.keras.layers.Lambda( lambda x: tf.strings.lower(tf.strings.regex_replace(x, '[^a-zA-Z0-9 ]', '')))(inputs) preprocessed = ...
浅谈keras.preprocessing.text
Qy_sfsh的博客
11-27 1864
是一个用python编写的开源神经网络库，从2021年8月的版本2.6开始，成为Tensorflow2的高层API。它拥有着丰富的数据封装和一些先进的模型实现，避免了“重复造轮子”。最近接触到Keras的embedding层，进而学习了一下Keras.preprocessing.text的相关知识。虽然Keras.preprocessing.text已经。取而代之的是但是，之前不少的代码用的还是Keras.preprocessing.text，因此还是有总结一下的必要。
TF-IDF算法-golang实现
weixin_30663391的博客
04-23 605
1、TF-IDF算法介绍 TF-IDF（term frequency–inverse document frequency，词频-逆向文件频率）是一种用于信息检索（information retrieval）与文本挖掘（text mining）的常用加权技术。 TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要...
Python-面向文本分类的经典向量化方法实现与比较
08-12
Text vectorization tool to outperform TFIDF for classification tasks
介绍自然语言处理（NLP）中的文本处理—TensorFlow
weixin_44733966的博客
02-07 1431
智能机器不仅能看到世界，还能理解我们并与我们交谈。​这一点也不夸张，其中虚拟助手互动，比如Siri、亚马逊Alexa和谷歌助手。在许多软件应用程序和网站上，我们与成千上万的聊天机器人进行互动。自然语言处理是一个跨学科的领域。它是计算机科学、机器学习和计算语言学的一个分支，涉及赋予计算机理解文本和人类语言的能力。NLP中常见的任务下面是一些可以用NLP完成的常见任务。文本分类情绪分析文本生成机器翻译语音识别文本到语音的转换光学字符识别自然语言处理的应用实例。
TensorFlow2.0学习
Mr.gai的博客
05-12 497
文章目录一、TensorFlow的建模流程1.1 结构化数据建模流程范例1.1.1 准备数据1.1.2 定义模型1.1.3 训练模型1.1.4 评估模型1.1.5 使用模型1.1.6 保存模型1.2 图片数据建模流程1.2.1 准备数据1.2.2 定义模型1.2.3 训练模型1.2.4 评估模型1.2.5 使用模型1.2.6 保存模型1.3 文本数据建模流程范例1.3.1 准备数据1.3.2 定义模型1.3.3 训练模型1.3.4 评估模型1.3.5 使用模型1.3.6 保存模型1.4 时间序列数据建模流程
TensorflowSimilarity学习笔记9
m0_59345023的博客
12-27 598
2021SC@SDUSC 代码位置：similarity/distances.py at master · tensorflow/similarity · GitHub @tf.keras.utils.register_keras_serializable(package="Similarity") class EuclideanDistance(Distance): """Compute pairwise euclidean distances between embeddings.
深度学习处理文本（2）
最新发布
yyc的博客
03-30 829
接下来，如果想将模型导出到生产环境中，你可能希望导出一个接收原始字符串作为入的模型（类似上面第二种用法的代码片段）​，否则，你需要在生产环境中（可能是JavaScript）重新实现文本标准化和词元化，可能会引入较小的预处理偏差，从而降低模型精度。对于编码为整数序列的文本，如果你需要将其转换回单词，那么这种方法很有用。你可以用无状态的方式来执行此操作，比如将每个词元哈希编码为一个固定的二进制向量，但在实践中，你需要建立训练数据中所有单词（​“词表”​）的索引，并为词表中的每个单词分配唯一整数，如下所示。
Yolo v7的最简TensorFlow实现
04-06 3368
基于Tensorflow来复现Yolo v7
(Keras) 自定义subclass子类模型/层，序列化以及model.save(path)保存
qq_67566505的博客
08-08 859
针对自定义的subclass子类模型不能使用model.save()保存整个模型的问题，通过将模型序列化实现整个模型保存。序列化：keras将自定义层或模型序列化为JSON格式后，即可用model.save()保存整个模型结构。装饰器，使自定义层或模型可以序列化或反序列化。
08-词嵌入（Word embeddings）
Serendipity_zyx的博客
06-02 2091
文章目录1. One-hot编码2. 用独一无二的数字编码每个单词3. 词嵌入4. 代码示例4.1 数据准备4.2 使用Embedding层4.3 文本预处理4.4 创建一个分类模型4.5 编译/训练模型 1. One-hot编码 这一部分，之前已在 01-Embedding层是什么？怎么理解？简单的评论情感分类实验 这篇文章中详细解释过。 2. 用独一无二的数字编码每个单词 我们可能尝试的第二种方法是使用独一无二的数字对每个单词进行编码。继续上面的例子，您可以将1赋给“cat”，2赋给“mat”，以
深度学习Keras保存模型（当包含自定义层时）
围城
04-09 2200
20210409 - 0.引言 一般来说，如果没有什么特殊情况，那么在进行保存模型的时候，通过调用一些api进行保存即可，在文章《深度学习的基础知识与问题汇总》简单介绍了一种方式，直接保存模型，并重新载入。 但是在今天的实验中，出现的需求就是，如果定义的模型中，包含了用户自定义的层就会报错，具体情况见[1]，在保存模型的时候没有问题，但是载入时就会报错。 简单说明一下实验环境 python 3.6.8 tensorflow-gpu 2.3.1 Keras 2.4.3 1. 加载模型报错：未定义层 在[1]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

会发paper的学渣

您的鼓励和将是我前进的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值