transformer 位置编码源码解读

Fernweb_

于 2024-06-10 18:09:52 发布

阅读量330

点赞数 4

文章标签： transformer 深度学习人工智能

本文链接：https://blog.youkuaiyun.com/qq_43570528/article/details/139579978

版权

在这里插入图片描述

import torch
import math

def get_positional_encoding(max_len, d_model):
    """
    计算位置编码

    参数：
    max_len -- 序列的最大长度
    d_model -- 位置编码的维度
    
    返回：
    一个形状为 (max_len, d_model) 的位置编码张量
    """
    positional_encoding = torch.zeros(max_len, d_model)