开源学习大语言模型(LLM)

最新推荐文章于 2025-07-31 19:38:27 发布

小白用python

最新推荐文章于 2025-07-31 19:38:27 发布

阅读量167

点赞数 2

CC 4.0 BY-SA版权

分类专栏： python 文章标签：学习

本文链接：https://blog.youkuaiyun.com/cdl3/article/details/148939531

python 专栏收录该内容

28 篇文章

订阅专栏

1.从零开始的 LLM 原理与实践教程

happy-llm：从零开始的 LLM 原理与实践教程。该项目是帮助初学习者系统地学习大语言模型（LLM）原理与实践的教程。通过详细的教程和实战案例，循序渐进地带领读者深入了解自然语言处理（NLP）基础、Transformer 架构、预训练语言模型的基本原理，并动手实现和训练自己的大语言模型。

地址：https://github.com/datawhalechina/happy-llm

2.从零开始构建的轻量级 vLLM

nano-vllm：从零开始构建的轻量级 vLLM。该项目是用 Python 实现的轻量级 vLLM（大语言模型推理引擎）项目，核心代码仅 1000 多行。它结构清晰、易于阅读，推理速度媲美 vLLM 原版，并集成了前缀缓存（Prefix Caching）、张量并行（Tensor Parallelism）和 Torch 编译等推理优化技术。

from nanovllm import LLM, SamplingParams
llm = LLM("/YOUR/MODEL/PATH", enforce_eager=True, tensor_parallel_size=1)
sampling_params = SamplingParams(temperature=0.6, max_tokens=256)
prompts = ["Hello, Nano-vLLM."]
outputs = llm.generate(prompts, sampling_params)
outputs[0]["text"]

地址：https://github.com/GeeeekExplorer/nano-vllm