IPEX-LLM是一个用于在英特尔CPU和GPU(如本地PC的iGPU、独立显卡如Arc、Flex和Max)上加速本地LLM推理和微调的PyTorch库。
- IPEX-LLM是BigDL-LLM的升级版。
- IPEX-LLM基于英特尔PyTorch扩展库(IPEX)以及llama.cpp、bitsandbytes、vLLM、qlora、AutoGPTQ、AutoAWQ等优秀工 作的成果。
- IPEX-LLM提供了与llama.cpp、ollama、Text-Generation-WebUI、Hugging Face transformers、Hugging Face PEFT、LangChain、LlamaIndex、DeepSpeed-AutoTP、vLLM、FastChat、Hugging Face TRL、AutoGen、ModeScope等库的无缝集成。
- IPEX-LLM目前已有50多个模型在ipex-llm上进行了优化/验证,包括LLaMA2、Mistral、Mixtral、Gemma、LLaVA、Whisper、ChatGLM、Baichuan、Qwen、RWKV等。
环境准备
- 安装“ Visual Studio 2022 Community”并选择“使用 C++ 进行桌面开发”工作负载。
- 安装或更新到最新的 GPU 驱动程序
- 安装 Miniconda。
创建并激活conda环境
conda create -n llm python=3.11 libuv
conda activate llm
安装Intel oneAPI Base Toolkit 2024.0
pip install dpcpp-cpp-rt==2024.0.2 mkl-dpcpp==2024.0.0 onednn==2024.0.0