LLM
关注
分享
扫一扫
文章平均质量分 83
大语言模型：介绍开源大语言模型应用相关技术
游戏AI开发者
勇往直前
展开
-
Python 3.13 嵌入 C++ 程序
基础功能参考《CPython Internals》中文版2022/03 字节跳动基于 CPython-3.10 的子解释器改造：thread specific sub-interp原创 2024-10-11 23:00:42 · 267 阅读 · 0 评论 -
使用 vLLM 运行 GLM-4-9B
在 wsl 中安装 vLLM；使用 huggingface-cli 下载 GLM-4-9B；运行 basic_demo原创 2024-06-06 00:02:54 · 4664 阅读 · 3 评论 -
搭建《TensorRT-LLM 技术实战营》大模型运行环境
记录了搭建 Nvidia 的大语言模型推理加速技术开源框架 TensorRT-LLM（使用 C++ 实现，提供了 python API）运行环境，跑通 summarize.py 模型测试的 step-by-step 流程，以及过程中遇到问题、解决办法。原创 2024-04-14 18:44:52 · 1727 阅读 · 2 评论