趋吉避凶的博客

KTransformers作为一个开源框架，专门为优化大规模语言模型的推理过程而设计。它支持GPU/CPU异构计算，并针对MoE架构的稀疏性进行了特别优化，可以有效降低硬件要求，允许用户在有限的资源下运行像DeepSeek-R1这样庞大的模型。例如，KTransformers实现了24GB显存环境下本地运行DeepSeek-R1满血版的能力，大大降低了部署成本和技术门槛。

作者在微调Qwen时遇到的一些坑以及一点经验 作者在微调Qwen时遇到的一些坑以及一点经验。

本文主要介绍了基于LangChain的文本内容切分、向量生成、存储、加载以及Prompt拼接与文本大模型输出连接的方法。LangChain是一种用于文本大模型的框架，通过对文本内容进行切分，生成向量，存储向量，加载向量等步骤，实现文本内容的处理和建模。在LangChain框架下，我们可以将文本内容切分为多个片段，并使用向量表示每个片段。这些向量可以存储在计算机内存中，也可以存储在磁盘上。我们可以将问题与匹配到的知识与Prompt进行拼接，并将其输入到文本大模型中进行处理和输出。