自然语言处理
关注
分享
扫一扫
文章平均质量分 82
一些关于自然语言处理相关的内容
我的龙呢
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
FastTransformer
是一种针对Transformer 模型进行优化的高效实现，旨在通过架构调整和计算优化，减少计算时间和内存占用，解决标准 Transformer 在处理长序列任务和实时任务中的性能瓶颈问题。与传统 Transformer 相比，FastTransformer 通过稀疏注意力机制分块计算和CUDA 并行优化等方法，实现了显著的计算加速和内存优化。原创 2024-12-17 09:25:18 · 1271 阅读 · 0 评论 -
Flash Attention
Flash Attention 是一种针对Transformer 模型优化的高效注意力计算方法。与传统注意力机制相比，它通过分块计算显存优化和数值稳定性改进，实现了在长序列任务中的显著加速，同时大幅降低了显存占用。原创 2024-12-15 11:19:41 · 1761 阅读 · 0 评论 -
Wandb配置
一些关于wandb的配置相关的内容原创 2024-12-10 14:11:29 · 1619 阅读 · 0 评论 -
BERT模型的实现
用phytorch实现的一个简单的BERT模型，可以在本地运行。原创 2024-12-07 18:02:08 · 1460 阅读 · 0 评论