39、NLP、TF2/Keras、Transformer、BERT与GPT技术解析

rust6ferris

于 2025-09-10 16:32:46 发布

阅读量20

点赞数

CC 4.0 BY-SA版权

分类专栏： NLP与机器学习入门指南文章标签： NLP TF2 Keras

本文链接：https://blog.youkuaiyun.com/rust6ferris/article/details/152431423

NLP与机器学习入门指南专栏收录该内容

62 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

NLP、TF2/Keras、Transformer、BERT与GPT技术解析

1. NLP与TF2/Keras基础

在自然语言处理（NLP）中，不同的机器学习算法在同一数据集上的准确率可能会有很大差异，因此在同一数据集上尝试多种算法（使用不同的超参数值）是很重要的。下面将介绍一些基于TensorFlow 2（TF2）和Keras的NLP相关代码示例。

1.1 TF2/Keras与单词分词

这部分提供了Python脚本 tf2_basic_nlp.py 和Jupyter笔记本 tf2_basic_nlp.ipynb 。如果在安装 tensorflow-text 时遇到问题，可以将Jupyter笔记本上传到Google Colaboratory并运行。

以下是 tf2_basic_nlp.py 的代码示例：

import tensorflow as tf
import tensorflow_text as text
sents = [["When ignorance is bliss."],
         ["Tis folly to be wise!"],
         ["According to the famous Bard!"],]
docs = tf.data.Dataset.from_tensor_slices(sents)
tokenizer = text.WhitespaceTokenizer()
tokenized_docs = do