解决module ‘tensorflow_datasets.core.features‘ has no attribute ‘text‘

最新推荐文章于 2024-06-12 16:38:37 发布

原创最新推荐文章于 2024-06-12 16:38:37 发布 · 3.8k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#tensorflow

编程随记同时被 2 个专栏收录

32 篇文章

订阅专栏

程序人生

27 篇文章

订阅专栏

在TensorFlow官网教程中尝试加载文本时遇到AttributeError，原因在于`tfds.features.text.Tokenizer()`方法已弃用。为解决此问题，应当使用`tfds.deprecated.text.Tokenizer`替代。更新代码后，可以正常创建tokenizer对象进行文本分词操作。

部署运行你感兴趣的模型镜像

问题描述

在TensorFlow官网学习加载文本的例子，执行tokenizer = tfds.features.text.Tokenizer()代码出现如下问题：

AttributeError                            Traceback (most recent call last)
<ipython-input-20-6f949be18afd> in <module>()
----> 1 tokenizer = tfds.features.text.Tokenizer()
      2 
      3 vocabulary_set = set()
      4 for text_tensor, _ in all_labeled_data:
      5   some_tokens = tokenizer.tokenize(text_tensor.numpy())

AttributeError: module 'tensorflow_datasets.core.features' has no attribute 'text'