K.expand_dims & K.tile

最新推荐文章于 2020-10-23 15:57:48 发布
原创 最新推荐文章于 2020-10-23 15:57:48 发布 · 8.7k 阅读 · 37 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#keras  #expand_dims #K.tile

本文详细介绍了如何使用Keras的expand_dims和tile函数来操纵张量的维度。通过实例展示了expand_dims如何在指定位置增加维度，以及tile如何沿各维度重复张量。适合深度学习初学者理解数据形状变换。

expand_dims

expand_dims(x, dim=-1)

在下标为dim的轴上增加一维

例子：

from keras import backend as K
import numpy as np

x=np.array([[2,3],[2,3],[2,3]])
print("x shape:",x.shape)
y1=K.expand_dims(x, 0)
y2=K.expand_dims(x, 1)
y3=K.expand_dims(x, 2)
y4=K.expand_dims(x, -1)

print("y1 shape:",y1.shape)
print("y2 shape:",y2.shape)
print("y3 shape:",y3.shape)
print("y4 shape:",y4.shape)
运行结果图
运行结果图

 

tile

tile(x, n)

将x在各个维度上重复n次，x为张量，n为与x维度数目相同的列表

K.tile(initial_state, [1, 64])

initial_state 的shape=（？，1）

最终 K.tile(initial_state, [1, 64]) 的shape=（？，64）

补充：

from keras import backend as K
import numpy as np

x=np.array([[1,2],[3,4],[5,6]])
a=K.tile(x, [1, 2])
b=K.tile(x, [2, 2])

print(x,x.shape)
print(a,a.shape)
print(b,a.shape)

 

【Keras】利用Lamda，自定义网络层，expand_dims
weixin_42279212的博客
04-13 1743
1. 自定义升维网络层 2. 使用Lamda进行定义
TensorFlow用expand_dim()来增加维度的方法
12-24
TensorFlow中，想要维度增加一维，可以使用tf.expand_dims(input, dim, name=None)函数。当然，我们常用tf.reshape(input, shape=[])也可以达到相同效果，但是有些时候在构建图的过程中，placeholder没有被feed具体的值，这时就会包下面的错误：TypeError: Expected binary or unicode string, got 1 在这种情况下，我们就可以考虑使用expand_dims来将维度加1。比如我自己代码中遇到的情况，在对图像维度降到二维做特定操作后，要还原成四维[batch, height, wid
expand_dims()
水野与小太郎的博客
11-19 1423
import tensorflow as tf import numpy as np # 't2' is a tensor of shape [2, 3, 4] t2 = np.zeros((2,3,4)) print(t2.shape) t3 = tf.expand_dims(t2, 0) t4 = tf.expand_dims(t2, 1) t5 = tf.expand_dims(t2, ...
深度学习 - 7.TF x Keras expand_dim 扩充维度
BITDDD小栈
10-23 7230
应用场景： 面对有时候需要对数据维度进行扩充，例如低维数据向转高维度或者不规则张量 ragged Tensor的填充，这时候就需要expand_dims登场、同时还有 tf.tile 和preprocessing.sequence.pad_sequences 帮忙。 一.expand_dims tf.expand_dims 可以扩充数组维度，参数包括: array：需要扩充的数组，这里 tensor，np.array 或者 python.list 都可以 axis：需要扩充......
tf.tile(tf.expand_dims(tf.range(), 0), [N,1])
03-20
这是一个 TensorFlow 的代码...result = tf.tile(tf.expand_dims(tf.range(M), 0), [N, 1]) print(result) ``` 输出结果为： ``` tf.Tensor( [[0 1 2 3] [0 1 2 3] [0 1 2 3]], shape=(3, 4), dtype=int32) ```
class MLA(layers.Layer): def __init__(self, args: ModelArgs): super().__init__() self.dim = args.dim self.n_heads = args.n_heads self.q_lora_rank = args.q_lora_rank self.kv_lora_rank = args.kv_lora_rank self.qk_nope_head_dim = args.qk_nope_head_dim self.qk_rope_head_dim = args.qk_rope_head_dim self.qk_head_dim = args.qk_nope_head_dim + args.qk_rope_head_dim self.v_head_dim = args.v_head_dim # 初始化投影层 if self.q_lora_rank == 0: self.wq = layers.Dense(self.n_heads * self.qk_head_dim) else: self.wq_a = layers.Dense(self.q_lora_rank) self.q_norm = RMSNorm(self.q_lora_rank) self.wq_b = layers.Dense(self.n_heads * self.qk_head_dim) self.wkv_a = layers.Dense(self.kv_lora_rank + self.qk_rope_head_dim) self.kv_norm = RMSNorm(self.kv_lora_rank) self.wkv_b = layers.Dense(self.n_heads * (self.qk_nope_head_dim + self.v_head_dim)) self.wo = layers.Dense(self.dim) self.softmax_scale = self.qk_head_dim ** -0.5 if args.max_seq_len > args.original_seq_len: mscale = 0.1 * args.mscale * math.log(args.rope_factor) + 1.0 self.softmax_scale *= mscale * mscale # 初始化缓存 self.k_cache = tf.Variable(tf.zeros((args.max_batch_size, args.max_seq_len,self.n_heads, self.qk_head_dim)),trainable=False) self.v_cache = tf.Variable(tf.zeros((args.max_batch_size, args.max_seq_len,self.n_heads, self.v_head_dim)),trainable=False) def call(self, x, start_pos, freqs_cis, mask=None): bsz = tf.shape(x)[0] seqlen = tf.shape(x)[1] end_pos = start_pos + seqlen # 查询投影 if self.q_lora_rank == 0: q = self.wq(x) else: q = self.wq_b(self.q_norm(self.wq_a(x))) q = tf.reshape(q, [bsz, seqlen, self.n_heads, self.qk_head_dim]) q_nope, q_pe = tf.split(q, [self.qk_nope_head_dim, self.qk_rope_head_dim], axis=-1) q_pe = apply_rotary_emb(q_pe, freqs_cis) # 键值投影 kv = self.wkv_a(x) kv, k_pe = tf.split(kv, [self.kv_lora_rank, self.qk_rope_head_dim], axis=-1) k_pe = apply_rotary_emb(tf.expand_dims(k_pe, 2), freqs_cis) kv = self.wkv_b(self.kv_norm(kv)) kv = tf.reshape(kv, [bsz, seqlen, self.n_heads, self.qk_nope_head_dim + self.v_head_dim]) k_nope, v = tf.split(kv, [self.qk_nope_head_dim, self.v_head_dim], axis=-1) k = tf.concat([k_nope, tf.tile(k_pe, [1, 1, self.n_heads, 1])], axis=-1) # 更新缓存 updates_range = tf.range(start_pos, end_pos) self.k_cache.assign(tf.tensor_scatter_nd_update(self.k_cache,updates_range[:, None],k)) self.v_cache.assign(tf.tensor_scatter_nd_update(self.v_cache,updates_range[:, None],v)) # 注意力计算 q = tf.concat([q_nope, q_pe], axis=-1) scores = tf.einsum("bshd,bthd->bhst", q, self.k_cache[:bsz, :end_pos]) * self.softmax_scale if mask is not None: scores += mask[:, None, :, :] scores = tf.nn.softmax(scores, axis=-1) x = tf.einsum("bhst,bthd->bshd", scores, self.v_cache[:bsz, :end_pos]) return self.wo(tf.reshape(x, [bsz, seqlen, -1])) 将缓存去掉
03-13
好的，我现在要帮用户分析他们... k = tf.concat([k_nope, tf.tile(k_pe, [1, 1, self.n_heads, 1])], axis=-1) v = v # 直接使用当前投影结果 # 注意力计算（修改einsum维度） q = tf.concat([q_nope, q_pe], axis...
seq_length = tf.shape(features)[1] positions = tf.range(start=0, limit=seq_length, delta=1) positions = tf.cast(positions, dtype=tf.float32) positions = tf.expand_dims(positions, axis=0) # (1, seq_length) positions = tf.tile(positions, [tf.shape(features)[0], 1]) # (batch, seq_length) positions = tf.expand_dims(positions, axis=-1) # (batch, seq_length, 1) print(features.shape, positions.shape) # 合并特征和位置编码 features_with_pos = tf.concat([features, positions], axis=-1) attended[group_name] = self.attention_layers[group_name](features_with_pos) 这个里面的positon和features在自注意力机制中什么意思，维度应该是什么样子的
最新发布
08-29
K = self.W_k(x) # (B, S, d_k) V = self.W_v(x) # (B, S, d_k) # 位置交互 scores = torch.matmul(Q, K.transpose(1, 2)) # (B, S, S) # ↑ 位置维度交互：计算每个位置对其他位置的注意力分数 # 特征...
def data_deal(y, batch_size): # y = np.array(y) # 计算stride = 1不补零可生成的batch数量 num_batches = tf.shape(y)[0] # 在数据前面补上一些0 zeros_tensor = tf.zeros([batch_size-1, tf.shape(y)[1]]) y_ = tf.concat([zeros_tensor, y], axis=0) # y_ = tf.concat([tf.zeros((batch_size-1,), dtype=y.dtype), y], axis=0) # 生成每个batch batch_data = y_[:batch_size, :] b = tf.expand_dims(batch_data, axis=0) for i in range(1, num_batches): L = y_[i:i+batch_size, :] M = tf.expand_dims(L, axis=0) b = tf.concat([b, M], axis=0) return b 这段代码如果不用0填补而是用y的第一行填补，怎么修改
06-14
first_row = tf.expand_dims(y[0], axis=0) repeat_times = batch_size - 1 zeros_tensor = tf.tile(first_row, [repeat_times, 1]) y_ = tf.concat([zeros_tensor, y], axis=0) # 生成每个batch batch_data...
tensorflow 利用expand_dims和squeeze扩展和压缩tensor维度方式
12-20
在利用tensorflow进行文本挖掘工作的时候，经常涉及到维度扩展和压缩工作。比如对文本进行embedding操作完成之后，若要进行卷积操作，就需要对embedded的向量扩展维度，将[batch_size, embedding_dims]扩展成为[batch_size, embedding_dims, 1]，利用tf.expand_dims(input, -1)就可实现，反过来用squeeze(input, -1)或者tf.squeeze（input）也可以把最第三维去掉。 tf.expand_dims() tf.squeeze() tf.expand_dims() tf.expand_
Keras--常用函数
得克特
08-22 2315
Keras Model保存 keras.callbacks.ModelCheckpoint(filepath,monitor=‘val_loss’,verbose=0,save_best_only=False, save_weights_only=False, mode=‘auto’, period=1) 参数说明： filename：字符串，保存模型的路径 monitor：需要监视的值，通常有...
Keras.backend: tile函数
VeritasCN的博客
05-06 4541
keras.backend.tile(x, n) 创建一个用 n 平铺 的 x 张量。 参数 x : 张量或变量。 n : 整数列表。长度必须与 x 中的维数相同。 返回 一个平铺的张量。 参数 x: 张量或变量。 n: 整数列表。长度必须与 x 中的维数相同。 返回 一个平铺的张量。 例子 K.tile(input_tensor , tile_tensor) 对...
03-numpy-笔记-expand_dims
04-15 101
>>> x = np.array([[1,2,3],[4,5,6]]) >>> x.shape (2, 3) >>> np.expand_dims(x, 0) array([[[1, 2, 3], [4, 5, 6]]]) >>> np.expand_dims(x, 1) array...
Python中numpy模块的tile()方法简单说明
wy的点滴
09-06 1万+
函数形式： tile(A，rep) 功能：重复A的各个维度 参数类型： - A: Array类的都可以 - rep：A沿着各个维度重复的次数举例：tile([1,2],2)输出[1,2,1,2]tile([1,2],(2,2))重复顺序为： [1,2] => [[1,2] , [1,2]] => [[1,2,1,2] , [1,2,1,2]]tile([1,2],(2,2,3))重复顺序
keras常用函数
qq_27011361的博客
07-12 2023
K.expand_dims(x_, 2) #在第二个维度中增加一维，元素个数并不会变 K.greater(K.expand_dims(x, 2), 0) #比较第一个参数个第二个参数的大小，返回布尔列表 K.cast(K.greater(K.expand_dims(x, 2), 0), 'float32') #将第一个参数转化为'float32'类型 示例： from keras imp...
tf.expand_dims用法详解
sereasuesue的博客
10-11 3万+
看官方讲解一些博客感觉一直不是很懂，下面是我的个人理解结合官方文档，有问题欢迎指出 tf.expand_dims tf.expand_dims( input, axis=None, name=None, dim=None ) 给定的张量input，该操作插入尺寸索引处的1维axis的input的形状。维度索引axis从零开始；如果您为其指定负数，axis则从末开始算起。 如果要将批次尺寸添加到单个元素，此操作很有用。例如，如果您有一个shape的图像[height, width, chan..
5 python numpy.expand_dims的用法
hxshine的博客
12-01 10万+
1 查看help其实感觉expand_dims(a, axis)就是在axis的那一个轴上把数据加上去，这个数据在axis这个轴的0位置。 例如原本为一维的2个数据，axis=0，则shape变为(1,2),axis=1则shape变为(2,1) 再例如 原本为 (2,3),axis=0，则shape变为(1,2,3),axis=1则shape变为(2,1,3)help(np.expand_di
Tensorflow一些常用基本概念与函数（1）
热门推荐
lenbow的博客
08-08 15万+
摘要：本文主要对tf的一些常用概念与方法进行描述。
tf.expand_dims()使用
qq_20014079的博客
09-21 1万+
tf.expand_dims( input, axis=None, name=None, dim=None ) 他所实现的功能是给定一个input，在axis轴处给input增加一个为1的维度。 举个栗子： # 't2' is a tensor of shape [2, 3, 5] tf.shape(tf.expand_dims(t2, 0)) #...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值