- 博客(3)
- 收藏
- 关注
RSS订阅转载 探秘Transformer系列之（17）--- RoPE
RoPE编码来自苏神的工作Roformer, 它是目前LLM中广受欢迎使用的PE编码方式之一。Transformer论文使用了Sinusoidal位置编码，其是加性编码，即词嵌入与编码位置相加。每个位置的嵌入向量是固定的，不考虑其与其他位置的关系。Sinusoidal位置编码希望引入相对位置关系（任意位置的位置编码都可以表达为一个已知位置的位置编码的关于距离的线性组合），但不是很成功，模型只能在一定程度上感知相对位置。位置编码常见的改进思路是以三角式位置编码公式为基础，调整自注意力计算偏置。
2025-05-16 11:43:47
202
转载 使用双向 @OneToOne 注解避免 Spring Boot 中的 StackOverflowError
使用双向 @OneToOne 注解避免 Spring Boot 中的 StackOverflowError在使用 Java Spring Boot 开发过程中，实体之间的关系映射是一个非常常见的需求。为了便于理解，我们将介绍双向 @OneToOne 关系映射，以及如何避免由此产生的 StackOverflowError 问...
2024-08-20 04:09:26
322
转载 java强转成接口类型
Java强转成接口类型在Java编程中，我们经常会遇到需要将一个对象强制转换为接口类型的情况。这种转换通常发生在我们不确定对象具体类型，但知道它实现了某个接口的情况下。本文将通过代码示例和流程图，详细解释Java中如何进行强转成接口类型。什么是接口在Java中，接口是一种引用类型，它定义了一组抽象方法，这些方法可以被...
2024-07-20 03:03:55
261
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人