- 博客(2)
- 收藏
- 关注
RSS订阅原创 大模型微调知识点总结
问题：模型的参数量由哪些部分组成，分别是以什么量级影响参数量（Word Embeddings）: 这部分参数用于将输入的词汇映射到固定维度的向量。其参数量由词汇表大小（V）和嵌入维度（D）决定，总量大约为 V*D。（Positional Embeddings）: 这部分添加了位置信息到嵌入向量中。其参数量通常与词嵌入的维度相同，大约为最大序列长度（S）和嵌入维度（D）的乘积，即 S*D。
2024-09-30 00:17:37
841
原创 模型推理与加速方案
vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。vLLM是一个快速且易于使用的库，用于 LLM 推理和服务，可以和HuggingFace 无缝集成。vLLM利用了全新的注意力算法「PagedAttention」，有效地管理注意力键和值。其主要用于离线批量推理。
2024-09-30 00:16:34
1213
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人