自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

qq_44577475的博客

  • 博客(3)
  • 收藏
  • 关注
排序：
按最后发布时间
按访问量
RSS订阅

原创 transformer-注意力机制

以上是LLaMA（或Transformer）中Self-Attention和FFN的计算过程。输入矩阵XXX通过线性变换生成QKVQ,K,VQKV。计算注意力分数AsoftmaxQKTdkAsoftmaxdk​​QKT​。使用AAA对VVV加权，得到输出OOO。将OOO输入FFN进行进一步变换。

2025-01-17 12:37:26 1532

原创 Docker使用

【代码】Docker使用。

2023-05-10 16:53:03 253 1

原创 ubuntu16.04 ssh升级

ubuntu16.04 ssh在线离线升级步骤

2022-11-23 10:42:48 1499

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章？
取消 删除