EricChu1707-优快云博客

原创 Engram 学习笔记

Engram 的核心思想是，对每个输入的 token，将以当前 token 为结尾的 2-gram、3-gram 做 embedding 后拼接。然后将结果融合进 transformer 数据流。笔者理解 Engram 是期望模型能学习到：如何 embedding 以某个 token 结尾的 n-gram，使得拼接后的向量存有关于这 n 个 token 的知识。

2026-01-22 02:16:24 607

原创 nasm中equ和macro的区别

介绍intelx86汇编在nasm中equ和macro的区别，涉及nasm文档、作者自己的实践。

2024-01-17 00:09:23 571

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人