tensor.get_shape()用法解析

最新推荐文章于 2023-12-15 23:23:39 发布
原创 最新推荐文章于 2023-12-15 23:23:39 发布 · 3.8k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#tensorflow #深度学习

本文详细解析了TensorFlow中tensor.get_shape()函数的使用方法，通过实例展示了如何获取张量维度，以及如何利用该函数在卷积神经网络中自动计算特征数量，实现卷积层到全连接层的转换。
部署运行你感兴趣的模型镜像

今天介绍tensor.get_shape()的用法

tensor.get_shape()
返回张量的维度，用一个元组来表示。
例如：

x=tf.constant([[[1,1,1],[2,2,2],[3,3,3],[4,4,4]],
			  [[1,1,1],[2,2,2],[3,3,3],[4,4,4]],
			  [[1,1,1],[2,2,2],[3,3,3],[4,4,4]]])
#容易看出，这是一个三维的张量（tensor）
x.get_shape()
x.get_shape()[1:]
x.get_shape()[1:].num_elements()

以上三个用法分别是什么意思呢？
第一个返回：(3,4,3)
用张量来说的话就是三个四行三列的张量，分别依次对应3，4，3
第二个返回（4,3)
就是切片操作，从第一个元素开始往后全部取来。
注意切片[a:b] 中，包含a而不包含b的元素。
第三个返回12
即：（4，3）中的元素个数，也就是12。

有什么用呢？再卷积神经网络中，用此种方法可以在卷积层拉伸为全连接层时，免于人工计算应该拉成多长。

features=last_conv_layer.get_shape()[1:].num_elements()
#第一个维度是数据的个数（batch_size组）
result =last_conv_layer.reshape([-1,features])
#拉伸成全连接层,-1是不知道有多少组数据的意思。

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.15

TensorFlow-v2.15

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

tensorflow 对Model检测点的操作、model.get_layer、从 checkpoint加载权重、set_weights、model层属性获取
炫云云
06-09 2780
文章目录model层属性获取检查点load_checkpointbert 中load_checkpoint并且get_layer().set_weights操作保存检测点 model层属性获取 在tensorflow中,要想获取层的输出的各种信息,可以先获取层对象,再通过层对象的属性获取层输出的其他特性. 获取model对应层的方法为: get_layer(self, name=None, index=None): 函数功能:根据层的名称(这个名称具有唯一性)或者索引号检索model获取对应的层. 获取层
GenerationMixin：_sample方法(GenerationMode.SAMPLE, GenerationMode.GREEDY_SEARCH)
fydw_715的博客
04-03 1292
GenerationMode.SAMPLE, GenerationMode.GREEDY_SEARCH
tensor.get_shape()
william_hehe的博客
12-10 1400
tensor.get_shape() 功能：获取已知张量的维度。 例子：import tensorflow as tfa=tf.get_variable('a',shape=[4,2,2,1],initializer=tf.constant_initializer(0))b=a.get_shape() #获取已知张量的维度，输出为一个元组。 c=b.as_list() #将元组转换为列表
get_shape函数
健身房
06-16 1245
  get_shape函数主要用于获取一个张量的维度，并且输出张量每个维度上面的值。如果是二维矩阵，也就是输出行和列的值，使用非常方便。 import tensorflow as tf with tf.Session() as sess: A = tf.random_normal(shape=[3, 4]) print(A.get_shape()) print(A.get_shape) 执行结果： (3, 4) <bound method Tensor.get_shape
TensortRT：sample.py:DeprecationWarning:
豫州刺史
12-15 1212
解决方案：使用 config.set_memory_pool_limit(trt.MemoryPoolType.WORKSPACE, common.GiB(1)) 来替代被弃用的 config.max_workspace_size。解决方案：使用 network.add_pooling_nd(…解决方案：使用 conv1.stride_nd = (1, 1) 来替代 conv1.stride。警告信息：与 conv1.stride = (1, 1) 相同，同样需要使用 stride_nd。
TensorFlow 学习：tensor.get_shape() 与 tf.shape(a)
pnnngchg的博客
03-05 3910
TensorFlow 学习：tensor.get_shape() 与 tf.shape(a) 两者相同在于都能得到一个tensor的shape。 不同点： 1.使用对象：get_shape()只能是tensor作为使用对象，shape()的对象a可以是tensor, list, array 2.返回值：get_shape()返回一个tuple，shape()返回一个tensor...
get.shape
yan的博客
07-26 480
a.get_shape() #得到数组a的维度 例如啊[[1,2],[3,4]]  得到[2,2] a[-1]表示数组a最后一维 tf.shape(a)和a.get_shape()比较    相同点：都可以得到tensor a的尺寸    不同点：tf.shape()中a 数据的类型可以是tensor, list, array                a.get_shape()中a...
import tensorrt as trt import numpy as np import time import pycuda.driver as cuda import pycuda.autoinit # 自定义INT8校准器类 class MyCalibrator(trt.IInt8EntropyCalibrator2): def __init__(self, batch_size=1, input_shape=(1, 3, 224, 224), cache_file="calibration.cache"): trt.IInt8EntropyCalibrator2.__init__(self) self.batch_size = batch_size self.input_shape = input_shape self.cache_file = cache_file # 生成随机校准数据（实际应用中应使用真实数据集） self.data = np.random.randn(100, *input_shape).astype(np.float32) self.current_index = 0 # 分配设备内存 self.device_input = cuda.mem_alloc(self.data.nbytes * self.batch_size) def get_batch_size(self): return self.batch_size def get_batch(self, names): if self.current_index + self.batch_size > len(self.data): return None batch = self.data[self.current_index:self.current_index+self.batch_size] self.current_index += self.batch_size # 将数据复制到设备 cuda.memcpy_htod(self.device_input, batch.tobytes()) return [int(self.device_input)] def read_calibration_cache(self): # 如果存在缓存，跳校准 try: with open(self.cache_file, "rb") as f: return f.read() except FileNotFoundError: return None def write_calibration_cache(self, cache): with open(self.cache_file, "wb") as f: f.write(cache) # 创建简单网络（使用 add_pooling_nd 替代 add_pooling） def create_network(): logger = trt.Logger(trt.Logger.WARNING) builder = trt.Builder(logger) network = builder.create_network(1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH)) # 定义输入 input_tensor = network.add_input("input", trt.DataType.FLOAT, (1, 3, 224, 224)) # 添加卷积层（模拟ResNet-18第一层） conv1 = network.add_convolution_nd( input=input_tensor, num_output_maps=64, kernel_shape=(7, 7), kernel=np.random.randn(64, 3, 7, 7).astype(np.float32).ravel(), bias=np.random.randn(64).astype(np.float32) ) # 设置步长和填充（直接赋值属性） conv1.stride_nd = [2, 2] conv1.padding_nd = [3, 3] # 添加池化层（使用 add_pooling_nd） window_shape = trt.Dims([3, 3]) # 修改：使用 trt.Dims pool1 = network.add_pooling_nd( input=conv1.get_output(0), type=trt.PoolingType.MAX, window_size=window_shape ) pool1.stride_nd = [2, 2] # 设置池化步长 # 展平输出为二维张量（N, C*H*W） flatten = network.add_shuffle(pool1.get_output(0)) output_shape = (1, 64 * 56 * 56) # 假设输入是 (1, 64, 56, 56) flatten.reshape_dims = tuple(output_shape) # 定义权重和偏置 kernel = np.random.randn(1000, 64 * 56 * 56).astype(np.float32).ravel() bias = np.random.randn(1000).astype(np.float32) # 添加常量张量作为权重和偏置 w = network.add_constant((1000, 64 * 56 * 56), kernel) b = network.add_constant((1000,), bias) # 矩阵乘法：[input] @ [weights.T] + [bias] matmul = network.add_matrix_multiply(flatten.get_output(0), trt.MatrixOperation.NONE, w.get_output(0), trt.MatrixOperation.TRANSPOSE) bias_add = network.add_elementwise(matmul.get_output(0), b.get_output(0), trt.ElementWiseOperation.SUM) # 标记输出 bias_add.get_output(0).name = "output" network.mark_output(bias_add.get_output(0)) return builder, network, logger # 主测试函数 def int8_perf_test(): # 创建网络 builder, network, logger = create_network() # 配置INT8量化 config = builder.create_builder_config() config.set_flag(trt.BuilderFlag.INT8) config.set_memory_pool_limit(trt.MemoryPoolType.WORKSPACE, 1 << 30) # 1GB工作空间 # 创建校准器并设置给配置 calib = MyCalibrator(batch_size=1, input_shape=(1, 3, 224, 224), cache_file="calibration.cache") config.int8_calibrator = calib # ✅ 正确方式：直接赋值属性 # 构建引擎（新API） engine = builder.build_engine(network, config) if not engine: print("Engine构建失败!") return # 创建执行上下文 context = engine.create_execution_context() # 准备输入输出缓冲区 input_shape = (1, 3, 224, 224) output_shape = (1, 1000) host_input = np.random.randn(*input_shape).astype(np.float32) host_output = np.empty(output_shape, dtype=np.float32) # 分配设备内存 d_input = cuda.mem_alloc(host_input.nbytes) d_output = cuda.mem_alloc(host_output.nbytes) bindings = [int(d_input), int(d_output)] # 创建CUDA流 stream = cuda.Stream() # 预热 for _ in range(5): cuda.memcpy_htod_async(d_input, host_input, stream) context.execute_async_v2(bindings=bindings, stream_handle=stream.handle) cuda.memcpy_dtoh_async(host_output, d_output, stream) stream.synchronize() # 正式测试 start = time.time() for _ in range(100): cuda.memcpy_htod_async(d_input, host_input, stream) context.execute_async_v2(bindings=bindings, stream_handle=stream.handle) cuda.memcpy_dtoh_async(host_output, d_output, stream) stream.synchronize() total_time = time.time() - start # 计算INT8 TOPS（基于ResNet-18的3.9G MACs） # 注意：INT8操作数 = MACs × 2（乘加各算一次操作） ops = 3.9e9 * 2 # ResNet-18的INT8操作数 tops = (ops * 100) / (total_time * 1e12) # 100次推理 print(f"INT8 TOPS: {tops:.2f} TOPS") # 清理资源 del context del engine if __name__ == "__main__": int8_perf_test() 报错 jp@jp-Super-Server:~/test$ python3 TensorRT_int8.py /home/jp/test/TensorRT_int8.py:113: DeprecationWarning: Use Deprecated in TensorRT 10.1. Superseded by explicit quantization. instead. config.int8_calibrator = calib # ✅ 正确方式：直接赋值属性 Traceback (most recent call last): File "/home/jp/test/TensorRT_int8.py", line 166, in <module> int8_perf_test() File "/home/jp/test/TensorRT_int8.py", line 116, in int8_perf_test engine = builder.build_engine(network, config) AttributeError: 'tensorrt_bindings.tensorrt.Builder' object has no attribute 'build_engine' 给出修改后的完整代码
06-18
我们正在解决两个问题：1...> 建议使用`trt.__version__`检查TensorRT版本（要求≥8.0），官方文档推荐使用容器环境保证版本兼容性[^2]。 [^1]: TensorRT开发者指南：优化配置 [^2]: NVIDIA TensorRT文档：API变更日志
def get_label(self, img_path, labelme_json_path, img_size): # h, w 是图片的宽高 mask_array = np.zeros([self.num_classes, h, w, 1], dtype=np.uint8) with open(labelme_json_path, "r") as f: json_data = json.load(f) shapes = json_data["shapes"] for shape in shapes: category = shape["label"] # 获取类别的索引 category_idx = self.category_types.index(category) points = shape["points"] points_array = np.array(points, dtype=np.int32) temp = mask_array[category_idx, ...] # 获取出mask_array对应的类别层 # 将标注的坐标点连接成一个区域，并将区域内的值填为255 mask_array[category_idx, ...] = cv2.fillPoly(temp, [points_array], 255) # 可以将每一层的输出来看mask图 # 交换维度 mask_array = np.transpose(mask_array, (1, 2, 0, 3)).squeeze(axis=-1) # 将mask转为tensor mask_tensor = ut.i2t(mask_array, False) return mask_tensor import torch import os import numpy as np from torch.utils.data import Dataset from utils_func import seg_utils as ut import cv2 from torchvision.transforms.functional import rotate as tensor_rotate from torchvision.transforms.functional import vflip, hflip from torchvision.transforms.functional import adjust_brightness import random import base64 import json import os import os.path as osp device = torch.device("cuda" if torch.cuda.is_available() else "cpu") class train_data(Dataset): def __init__(self, image_folder, img_size, category_types): self.image_folder = image_folder self.img_size = img_size self.category_types = category_types self.num_classes = len(category_types) self.data_list = self.generate_mask() # print(self.data_list) self.img_and_mask = [] for idx, data in enumerate(self.data_list): img_tensor, mask_tensor = self.get_image_and_label(data[0], data[1], self.img_size) self.img_and_mask.append([img_tensor, mask_tensor]) def __len__(self): return len(self.img_and_mask) def __getitem__(self, index): img_tensor = self.img_and_mask[index][0].to(device) mask_tensor = self.img_and_mask[index][1].to(device) # 如果有数据增强就在这里处理 return img_tensor, mask_tensor def data_augment(self, img_tensor, mask_tensor, aug_flag): if aug_flag[0] == 0: angel = random.choice(aug_flag[1]) img_tensor = tensor_rotate(img_tensor, int(angel)) mask_tensor = tensor_rotate(mask_tensor, int(angel)) elif aug_flag[0] == 1: factor = aug_flag[1] img_tensor = adjust_brightness(img_tensor, factor) elif aug_flag[0] == 2: flip_type = random.choice(aug_flag[1]) if flip_type == 1: img_tensor = vflip(img_tensor) mask_tensor = vflip(mask_tensor) else: img_tensor = hflip(img_tensor) mask_tensor = hflip(mask_tensor) return img_tensor, mask_tensor def generate_mask(self): data_lists = [] for file_name in os.listdir(self.image_folder): if file_name.endswith("json"): json_path = os.path.join(self.image_folder, file_name) img_path = osp.join(self.image_folder, "%s.jpg" % file_name.split(".")[0]) data_lists.append([img_path, json_path]) return data_lists def get_image_and_label(self, img_path, labelme_json_path, img_size): # print("==================================================") # print(img_path) # print("==================================================") img = ut.p2i(img_path) h, w = img.shape[:2] img = cv2.resize(img, (img_size[0], img_size[1])) # cv2.imwrite(r"C:\Users\HJ\Desktop\test\%s.jpg"%img_path.split(".")[0][-7:], img) img_tensor = ut.i2t(img) mask_array = np.zeros([self.num_classes, h, w, 1], dtype=np.uint8) with open(labelme_json_path, "r") as f: json_data = json.load(f) shapes = json_data["shapes"] for shape in shapes: category = shape["label"] category_idx = self.category_types.index(category) points = shape["points"] points_array = np.array(points, dtype=np.int32) temp = mask_array[category_idx, ...] mask_array[category_idx, ...] = cv2.fillPoly(temp, [points_array], 255) mask_array = np.transpose(mask_array, (1, 2, 0, 3)).squeeze(axis=-1) mask_array = cv2.resize(mask_array, (self.img_size[0], self.img_size[1])).astype(np.uint8) mask_tensor = ut.i2t(mask_array, False) return img_tensor, mask_tensor if __name__ == '__main__': img_folder = r"D:\finish_code\SegmentationProject\datasets\data2" img_size1 = [256, 512] category_types = ["background", "person", "car", "road"] t = train_data(img_folder, img_size1, category_types) t.__getitem__(1)
最新发布
07-25
class_id = self._get_class_id(label) # 将点坐标转换为整数 points = np.array(points, dtype=np.int32) # 在 mask 上绘制多边形 cv2.fillPoly(mask, [points], color=class_id) # 应用变换 if self....
上述获取的size = trt.volume(self.engine.get_binding_shape(binding))为负数，是什么原因，和我的onnx的batch是动态的有关系吗
07-17
我们正在处理的问题：使用TensorRT加载engine文件执行推理时，`trt.volume(self.engine.get_binding_shape(binding))`返回负数。 原因分析： 1. TensorRT中，当某个维度是动态的（即维度可以是任意值或在一定范围...
TensorFlow 获取张量形状的操作 tf.shape()、属性shape 及 方法get_shape() 的基本用法及实例代码
sdnuwjw的博客
01-09 2万+
一、环境 TensorFlow API r1.12 CUDA 9.2 V9.2.148 cudnn64_7.dll Python 3.6.3 Windows 10   二、官方说明 1、tf.shape(tensor) 获取输入张量 input 的形状，以 1 维整数张量形式表示 https://tensorflow.google.cn/api_docs/python/tf/s...
TensorFlow系列: tf.shape() 与 tensor.get_shape()
noirblack的专栏
05-15 7335
tf.shape() shape( input, name=None, out_type=tf.int32 ) 返回一个代表 input 的 shape 的 1-D tensor. 也就是说获得shape的信息,需要用sess.run(). &amp;amp;amp;gt;&amp;amp;amp;gt;&amp;amp;amp;gt; import tensorflow as tf &amp;amp;amp;gt;&amp;a
tf.shape()与tensor.get_shape()
gqixf的博客
10-17 735
两种方法都可以获得变量的shape tf.shape(x)   其中x可以是tensor, 也可不是tensor,返回是一个tensor. shape=tf.placeholder(tf.float32, shape=[None, 227, 227, 3]]  我们经常会这样来feed 数据，如果在运行的时候想知道None到底是多少，这时候只能通过tf.shape(x)[0]这种方式来获得...
TensorFlow的get_shape()函数和num_elements() 函数
秋天
07-03 4243
今天学习图像数组转置的时候，遇到get_shape()、num_elements()函数。 经查，get_shape()函数的功能和array的shape属性一样，都是可以得到张量（数组）的维度，如下是TesnorFlow的get_shape()源码（..\Lib\site-packages\tensorflow\python\ops\variables.py）： def get_sha...
tensorflow学习笔记（九）：tf.shape()与tensor.get_shape()
热门推荐
Keith
10-23 7万+
两种方法都可以获得变量的shapetf.shape(x)其中x可以是tensor，也可不是tensor，返回是一个tensortensor.get_shape()只有tensor有这个方法， 返回是一个tuple
Tensorflow API 学习(2)-tf.shape(a)和a.get_shape()
yychenxie21的专栏
11-03 2万+
1，tf.shape(a)和a.get_shape()比较    相同点：都可以得到tensor a的尺寸    不同点：tf.shape()中a 数据的类型可以是tensor, list, array                  a.get_shape()中a的数据类型只能是tensor,且返回的是一个元组（tuple） 2，例子：       import tensorfl
tf.shape与get_shape()
qq_32801595的博客
05-13 1148
import tensorflow as tf import numpy as np x=tf.constant([[1,2,3],[4,5,6]] y=[[1,2,3],[4,5,6]] z=np.arange(24).reshape([2,3,4])) sess=tf.Session() # tf.shape() x_shape=tf.shape(x) ...
tensorflow之中的tf.shape()和get_shape()函数的区别
小姑仔的博客
07-01 942
tensorflow之中的get_shape()函数好tf.shape()函数输出的形状有很大的区别 这里我们以一个小例子来说明具体用法的不同 input_ids = keras.layers.Input(shape=(None,),dtype='int32',name="token_ids") input_shape = input_ids.get_shape() print('input_shape1 = ') print(input_shape) maxlen = input_shape[1] pri
tf.shape()和x.get_shape().as_list()
coder
08-30 4万+
(1) tf.shape() 先说tf.shape()很显然这个是获取张量的大小的，用法无需多说，直接上例子吧！ import tensorflow as tf import numpy as np a_array=np.array([[1,2,3],[4,5,6]]) b_list=[[1,2,3],[3,4,5]] c_tensor=tf.constant([[1,2,3],[4,5...
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值