云游
LLaMAFactory0.9.1评估预测报TypeError: GenerationMixin._extract_past_from_model_output() got an unexpected
大模型的transformers版本太低导致，通过config.json文件发现，transformers是4.40.2版本，升级到4.44.0就可以。你会发现modeling_chatglm.py的内容有变化，新版本没有standardize_cache_format参数。通过LLaMAFactory进行Evaluate& Predict时，报错。下载最新的配置文件就可，包括如下7个文件。大模型：GLM-4-9B-chat。
寻道AI小兵
【DeepSeek部署实战】一键本地推理，DeepSeek-R1 蒸馏模型 + llama.cpp 部署教程
在当今快速发展的 AI 领域，本地运行大型语言模型（LLM）的需求日益增长。llama.cpp 是一个高性能的 C/C++ 库，专门用于运行 LLM，支持多种硬件加速选项。本文将详细介绍如何使用 llama.cpp 在本地运行 DeepSeek-R1 蒸馏模型（1.5B-GGUF），帮助您在消费级硬件上实现高效推理。通过llama.cpp运行DeepSeek-R1蒸馏版模型，您可以在消费级硬件上体验高性能推理。llama.cpp提供了灵活的配置选项，支持多种硬件加速方式，并且易于部署。
作者推荐
- 愚公搬代码
- 《头衔》：华为云特约编辑，华为云云享专家，华为开发者专家，华为产品云测专家，优快云博客专家，优快云商业化专家，阿里云专家博主，阿里云签约作者，腾讯云优秀博主，腾讯云内容共创官，掘金优秀博主，亚马逊技领云博主，51CTO博客专家等。 《近期荣誉》：2022年度博客之星TOP2，2023年度博客之星TOP2，2022年华为云十佳博主，2023年华为云十佳博主，2024年华为云十佳博主等。 《博客内容》：.NET、Java、Python、Go、Node、前端、IOS、Android、鸿蒙、Linux、物联网、网络安全、大数据、人工智能、U3D游戏、小程序等相关领域知识。
关注
