基于tf1.x的feature_columns相关特征处理方法到tf2.x时的迁移

最新推荐文章于 2023-02-02 16:07:02 发布
最新推荐文章于 2023-02-02 16:07:02 发布
阅读量330 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： tensorflow2.x 推荐 文章标签： tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sslfk/article/details/124397662
这篇博客介绍了如何在 TensorFlow 2.x 中将传统特征列（feature columns）转换为 Keras 预处理层。内容涵盖了连续数值的离散化处理、字符型数据的桶化编码、字符串的数字化以及数字类型的编码。同时，提到了CategoryEncoding、Embedding、Normalization等Keras层在特征转换中的应用，确保输入数据统一为one_hot、multi_hot或integer形式。此外，还列举了sequence_categorical_column等序列数据的处理方法，帮助读者理解和迁移TensorFlow特征列到Keras预处理层的转换过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

下表是对应的特征处理表逻辑：keras layer中对应的处理类更加直接易于理解。 

例如连续性数字的离散化处理layers.Discretization

字符型或无大小关系的hash桶化：layers.Hashing

字符串的数字化编码处理：layers.StringLookup

数字类型（无大小区分）数据的数字化编码：layers.IntegerLookup

上面三个可以将输入统一化为one_hot、multi_hot或integer

对于integer形式，可以再通过使用layers.CategoryEncoding实现指定维度的映射变换（可训练）

Feature ColumnKeras Layer
feature_column.bucketized_columnlayers.Discretization
feature_column.categorical_column_with_hash_bucketlayers.Hashing
feature_column.categorical_column_with_identitylayers.CategoryEncoding
feature_column.categorical_column_with_vocabulary_filelayers.StringLookup or layers.IntegerLookup
feature_column.categorical_column_with_vocabulary_listlayers.StringLookup or layers.IntegerLookup
feature_column.crossed_columnlayers.experimental.preprocessing.HashedCrossing
feature_column.embedding_columnlayers.Embedding
feature_column.indicator_columnoutput_mode='one_hot' or output_mode='multi_hot'*
feature_column.numeric_columnlayers.Normalization
feature_column.sequence_categorical_column_with_hash_bucketlayers.Hashing
feature_column.sequence_categorical_column_with_identitylayers.CategoryEncoding
feature_column.sequence_categorical_column_with_vocabulary_filelayers.StringLookup, layers.IntegerLookup, or layer.TextVectorization†
feature_column.sequence_categorical_column_with_vocabulary_listlayers.StringLookup, layers.IntegerLookup, or layer.TextVectorization†
feature_column.sequence_numeric_columnlayers.Normalization
feature_column.weighted_categorical_columnlayers.CategoryEncoding

参考：Migrating feature_columns to TF2's Keras Preprocessing Layers  |  TensorFlow Core 

这是一篇价值1500的文章：tensorflow2.0 feature_columns 如何输入到keras 功能性模型（funtional api）
anavanab99的博客
05-28 494
这是一篇价值1500的文章：tensorflow2.0 feature_columns 如何输入到keras 功能性模型（funtional api） 因为一开始这个问题解决不了，找谋宝代做，（只是要个案例而已哦，代码已经写好的那种哦）居然要价1500！还说什么博士，要研究很久，还说解决了很多次同样的问题（为了给广大码农省下宝贵的1500，特意开这个帖子）给钱是不可能给钱的，所以自己谷歌解决了，总共改了就三句 其实关键就在于特征列后面要添加一个输入层，添加后feature_layer_inputs[‘
keras layers笔记
allen的博客
09-30 3508
文章目录base`Layer.get_weights()`:Returns the current weights of the layer`Layer.set_weights(weights)`: Sets the weights of the layer, from Numpy arrays.`Model.get_config()`: config of the layer`Layer.add_loss(losses, **kwargs)`: Add loss tensor(s), potentiall
keras.layers.StringLookup 层介绍
sslfk的博客
03-28 3914
StringLookup可以返回indices编码，onehot编码，multihot编码；逆转编码
tensorflow2.x中字符串wordenbedding的方式
sslfk的博客
12-16 1708
字符串如何embedding
【feature_column处理】- categorical_column_with_hash_bucket哈希列
DataAlgo
11-24 1766
categorical_column_with_hash_bucket哈希列，对于处理包含大量文字或数字类别的特征时可使用hash的方式，这能快速地建立对应的对照表 分桶的方式，但这次分桶是根据hash的方式在有限的长度进行划分 1. 比如： 我们有120个单词，我们只希望分成100个类别，这个时候多出的20个怎么来划分？ 101: 101 % 100 = 1 标记1 —> 和1一个桶 102： 102 % 100 = 2 标记2 —> 和2一个桶 … 120： 120 % 10
【feature_column处理】- categorical_column_with_identity分类标识列
DataAlgo
11-24 1205
categorical_column_with_identity：把numerical data转乘one hot encoding 但是该函数不直接对文本的list进行处理 参数介绍： def categorical_column_with_identity(key, num_buckets, default_value=None): key： 要求输入features是一个字典，key是特征名称，value表示特征值。 num_buckets: 分桶的个数
Use Keras preprocessing layers instead, either directly or via the `tf.keras.utils.FeatureSpace` utility. Each of `tf.feature_column.*` has a functional equivalent in `tf.keras.layers` for feature preprocessing when training a Keras model. Traceback (most recent call last): File "D:\Desktop\Taffic_Anomaly_Detection_based_on_Neural_Network-master\DNN_IDS.py", line 97, in <module> feature_layer = tf.keras.layers.DenseFeatures(feature_use,dtype='float64') ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ AttributeError: module 'keras._tf_keras.keras.layers' has no attribute 'DenseFeatures'
05-14
在 TensorFlow 2.x 中，`tf.keras.layers.DenseFeatures` 是用于处理结构化数据的一种方式。然而，在某些情况下可能会遇到 `AttributeError: module 'tensorflow.python.keras.layers' has no attribute '...
C:\Users\ggbond\AppData\Local\anaconda3\python.exe C:/Users/ggbond/Desktop/基于深度学习的中文语音识别系统(完整代码+报告+毕业设计)/deepspeechrecognition/test.py 2025-03-17 00:57:49.368113: I tensorflow/core/util/port.cc:153] oneDNN custom operations are on. You may see slightly different numerical results due to floating-point round-off errors from different computation orders. To turn them off, set the environment variable `TF_ENABLE_ONEDNN_OPTS=0`. 2025-03-17 00:57:50.202278: I tensorflow/core/util/port.cc:153] oneDNN custom operations are on. You may see slightly different numerical results due to floating-point round-off errors from different computation orders. To turn them off, set the environment variable `TF_ENABLE_ONEDNN_OPTS=0`. Traceback (most recent call last): File "C:\Users\ggbond\Desktop\基于深度学习的中文语音识别系统(完整代码+报告+毕业设计)\deepspeechrecognition\test.py", line 4, in <module> import tensorflow as tf File "C:\Users\ggbond\AppData\Local\anaconda3\Lib\site-packages\tensorflow\__init__.py", line 49, in <module> from tensorflow._api.v2 import __internal__ File "C:\Users\ggbond\AppData\Local\anaconda3\Lib\site-packages\tensorflow\_api\v2\__internal__\__init__.py", line 13, in <module> from tensorflow._api.v2.__internal__ import feature_column File "C:\Users\ggbond\AppData\Local\anaconda3\Lib\site-packages\tensorflow\_api\v2\__internal__\feature_column\__init__.py", line 8, in <module> from tensorflow.python.feature_column.feature_column_v2 import DenseColumn # line: 1777 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\ggbond\AppData\Local\anaconda3\Lib\site-packages\tensorflow\python\feature_column\feature_column_v2.py", line 38, in <module> from tensorflow.python.feature_column import feature_column as fc_old File "C:\Users\ggbond\AppData\Local\anaconda3\Lib\site-packages\tensorflow\python\feature_column\feature_column.py", line 41, in <module> from tensorflow.python.layers import base File "C:\Users\ggbond
03-17
如果使用的 TensorFlow 版本较新而某些功能尚未完全迁移至 v2.x 或者存在 API 变更，则可能导致无法正常调用旧版中的方法。例如，在 TensorFlow 2.x 中，默认启用了 eager execution 模式，这可能会改变一些原有模块...
ImportError: cannot import name 'DenseFeatures' from 'tensorflow.feature_column'
最新发布
06-11
并且不想升级，那么需要改写代码：在1.x中，特征列的处理通常是在`tf.estimator`的输入函数中使用，或者使用`tf.feature_column.input_layer`来将特征列转换为密集张量，然后可以将其输入到普通的层中。由于错误信息...
tensorflow2.x对应的estimator版本是多少
03-10
此外，用户可能遇到旧代码迁移的问题，比如从1.x到2.x，Estimator是否需要修改导入路径。比如，在2.x中，直接使用tf.estimator而不是tf.contrib.estimator。需要注意是否有模块移动的情况。 另外，引用[2]提到卸载...
Traceback (most recent call last): File "C:\Users\lenovo\PycharmProjects\pythonProject7\机器学习综合实验1.py", line 247, in <module> classifier = tf.estimator.DNNClassifier( ^^^^^^^^^^^^ File "C:\Users\lenovo\PycharmProjects\pythonProject7\venv\Lib\site-packages\tensorflow\python\util\module_wrapper.py", line 232, in _getattr attr = getattr(self._tfmw_wrapped_module, name) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ AttributeError: module 'tensorflow.compat.v1' has no attribute 'estimator'按照你的思路使用了v1但是还是报错
05-12
### TensorFlow 2.x 中解决 `AttributeError: module 'tensorflow.compat.v1' has no attribute 'estimator'` 的方法 在 TensorFlow 2.x 中，许多原本属于 TensorFlow 1.x 的模块已经被移除或重新设计。其中，`tf....
tf.keras.layers.Embedding() 详解
qq_42018521的博客
02-02 3294
输入：二维张量：(batch_size, input_length)。 输出：3D 张量：(batch_size, input_length, output_dim)。
keras.layers.Embedding层介绍
sslfk的博客
03-28 4684
本层应用，就是把稀疏矩阵变成一个密集矩阵，也称为查表，因为他们之间是一个一一映射关系。与其对应的是one-hot编码，multi-hot编码，对于特征维度过大的应用，直接使用会造成维度灾难。 Embedding层本质也是一个映射，不过不是映射为on-hot编码，而是映射为一个指定维度的向量，该向量是一个变量，通过学习寻找到最优值；此过程类似word2vec的原理。 而通常输入的特征都是字符串，所以在映射之前先转化为数字，也就是StringLookup对应的count模式所做的事情。 使用方式如下：
深度学习框架Keras使用心得
xjcvip007的博客
10-12 4万+
最近几个月为了写小论文，题目是关于用深度学习做人脸检索的，所以需要选择一款合适的深度学习框架，caffe我学完以后感觉使用不是很方便，之后有人向我推荐了Keras，其简单的风格吸引了我，之后的四个月我都一直在使用Keras框架，由于我用的时候，tensorflow的相关教程还不是很多，所以后端我使用theano。这次的心得主要分成两篇，第一篇是聊聊开始使用keras容易遇到的坑，第二篇会在我论文发了之后，连同代
TensorFlow系列——feature_column特征工具说明
有信念，才能走的更远
05-16 3436
一、一些工具 1、三种本地打印输出非序列sequence数据的feature_column转换后的值的方法 适用于TensorFlow1.x import tensorflow as tf from tensorflow.python.feature_column import feature_column_v2 as fc_v2 from tensorflow.python.feature_column import feature_column as fc # 注意：只有方式2会检查输入数据是否
【TensorFlow】(五)tf.feature_column.categorical_column_with_vocabulary_list()函数的作用及用法
凝眸伏笔的博客
08-12 3551
1.作用 A sequence of categorical terms where ids are set by hashing.(翻译：将一个类别序列，进行hash映射。根据单词的序列顺序，把单词根据index转换成one hot encoding) 输入： key 一个唯一的字符串识别输入功能。 vocabulary_file 词汇文件名。或者词的set集合。 vocabulary_size 在词汇中元素的个数。这必须是不大于长度vocabulary_file，如果低.
在Keras下对结构化数据分类
TSINGHUAJOKING
12-07 1168
  §01 Keras分类 这个分类问题来自于 Structured data classification from scratch ，从头开始介绍了一个在Keras下对于303位病人预测是否有心脏疾病。 一、数据集合 1、下载地址 数据集合下载链接： 数据集合下载地址 : http://storage.googleapis.com/download.tensorflow.org/data/heart.csv 2、基本内容 数据集合： 格式：CSV 数量：303行 用途：病人特征，预测.
Layer Normalization解析
热门推荐
霹雳吧啦Wz
06-07 4万+
原论文名称：Layer Normalization 原论文地址： https://arxiv.org/abs/1607.06450 之前有讲过Batch Normalization的原理，链接，今天来简单讲讲Layer Normalization。Layer Normalization是针对自然语言处理领域提出的，例如像RNN循环神经网络。为什么不使用直接BN呢，因为在RNN这类时序网络中，时序的长度并不是一个定值（网络深度不一定相同），比如每句话的长短都不一定相同，所有很难去使用BN，所以作者提出了Lay
深度学习 - 26.TF TF2.x tf.feature_column 详解
BITDDD小栈
07-30 2425
一.引言 上一篇文章Tensorflow - TF1.x VS TF2.x tf.feature_column介绍了 feature_column 在 TF1.x 与 TF 2.x 在使用上的区别，这里介绍一下 feature_column 中用到的特征列以及对应方法。 二.feature_column 整体介绍 1.整体关系 feature_column 模块中包含下述9个函数，除 buketized_column 函数外，其他函数只能返回 Categorical Column 或 D....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

会发paper的学渣

您的鼓励和将是我前进的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值