FastLLM项目常见问题解决方案

FastLLM项目常见问题解决方案

【免费下载链接】fastllm 纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行 项目地址: https://gitcode.com/gh_mirrors/fa/fastllm

项目基础介绍和主要编程语言

FastLLM是一个纯C++实现的高性能大模型推理库，旨在提供无第三方依赖的多平台支持。该项目的主要编程语言是C++，同时也支持Python调用。FastLLM能够在ARM、X86和NVIDIA等多种平台上高效运行，特别适合需要高性能推理的应用场景。

新手使用项目时需要注意的3个问题及解决步骤

1. 编译环境配置问题

   • 问题描述：新手在编译FastLLM时，可能会遇到编译环境配置不正确的问题，导致编译失败。
   • 解决步骤：
     1. 确保已安装gcc、g++（建议版本9.4以上）、make和cmake（建议版本3.23以上）。
     2. 如果需要GPU支持，确保已安装CUDA编译环境，并使用尽可能新的CUDA版本。
     3. 使用以下命令进行编译：

        bash install.sh -DUSE_CUDA=ON  # 编译GPU版本
        # 或
        bash install.sh  # 仅编译CPU版本
        

     4. 如果需要指定CUDA架构，可以使用-DCUDA_ARCH=89参数，例如：

        bash install.sh -DUSE_CUDA=ON -DCUDA_ARCH=89
        

2. 模型路径设置问题

   • 问题描述：在运行demo程序时，新手可能会因为模型路径设置不正确而导致程序无法找到模型文件。
   • 解决步骤：
     1. 确保模型文件路径正确，例如模型位于~/Qwen2-7B-Instruct/目录。
     2. 使用以下命令运行demo程序：

        python3 -m ftllm.server -t 16 -p ~/Qwen2-7B-Instruct/ --port 8080 --model_name qwen
        

     3. 如果路径错误，程序会提示找不到模型文件，此时需要检查并修正路径。

3. 多卡部署问题

   • 问题描述：新手在使用多卡部署时，可能会遇到设备选择错误或配置不当的问题。
   • 解决步骤：
     1. 在Python命令行调用中，使用--device参数设置多卡调用。
     2. 例如，设置单一设备：

        --device cuda:1
        

     3. 或者设置多卡：

        --device "['cuda:0', 'cuda:1']"
        

     4. 确保所有设备都已正确配置，并且CUDA环境已正确安装。

通过以上步骤，新手可以更好地理解和使用FastLLM项目，避免常见问题的困扰。

【免费下载链接】fastllm 纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行 项目地址: https://gitcode.com/gh_mirrors/fa/fastllm