开源学习大语言模型(LLM)

关注

原创最新推荐文章于 2026-07-16 01:00:00 发布 344 阅读 AI 写同款· GEO 优化 ›

nano-vllm-5 这篇主要介绍一下attention算子，因为前面反复涉及到flash-attention的api, 而且很多prepare_prefill和prepare_decode都是为这个api在服务，所以有必要了解. 阅读详情

1.从零开始的 LLM 原理与实践教程

happy-llm：从零开始的 LLM 原理与实践教程。该项目是帮助初学习者系统地学习大语言模型（LLM）原理与实践的教程。通过详细的教程和实战案例，循序渐进地带领读者深入了解自然语言处理（NLP）基础、Transformer 架构、预训练语言模型的基本原理，并动手实现和训练自己的大语言模型。

地址：https://github.com/datawhalechina/happy-llm

2.从零开始构建的轻量级 vLLM

nano-vllm：从零开始构建的轻量级 vLLM。该项目是用 Python 实现的轻量级 vLLM（大语言模型推理引擎）项目，核心代码仅 1000 多行。它结构清晰、易于阅读，推理速度媲美 vLLM 原版，并集成了前缀缓存（Prefix Caching）、张量并行（Tensor Parallelism）和 Torch 编译等推理优化技术。

from nanovllm import LLM, SamplingParams
llm = LLM("/YOUR/MODEL/PATH", enforce_eager=True, tensor_parallel_size=1)
sampling_params = SamplingParams(temperature=0.6, max_tokens=256)
prompts = ["Hello, Nano-vLLM."]
outputs = llm.generate(prompts, sampling_params)
outputs[0]["text"]

地址：https://github.com/GeeeekExplorer/nano-vllm

收录于