代码时光

对于想要在本地或自托管环境中运行 LLM 的用户而言，Ollama 提供了一个无需 GPU、在 CPU 环境也可高效完成推理的轻量化 “本地推理” 方案，接下来跟着笔者学习怎么一步步搭建自己的本地知识库吧

当前大模型推理平台/引擎生态各具特色，从企业级高并发服务到本地轻量化部署，从国产硬件优化到前沿编译技术探索，每种方案都有其独到优势。选择合适的推理方案不仅需考虑技术指标，更要结合业务场景、硬件资源与未来扩展规划。未来，随着技术的不断进步和产业协作的加深，大模型推理生态将呈现出更加多元、灵活和高效的局面，为各领域在激烈竞争中抢占先机提供强大支撑。

最近b站上刷到一个博主，大模型DeepSeek，实现本地运行，打造一款定制化的LLM，下面是一些关键步骤和代码。UP主的案例是微调deepseek，打造一个。

在大型 AI 模型中，RAG（Retrieval-Augmented Generation）是一种模型架构，它结合了检索（Retrieval）和生成（Generation）两种方法，用于处理自然语言生成任务。

从最上层的预训练模型开始，我们先划分出是否为多模态（例如让模型具备对图片、语音、视频的理解和生成能力）微调，还是纯文本微调（仅让模型具备生成文字的能力）。在文本微调中，监督微调是目前应用最广泛也是最常用的微调技术，当然目前我们普通人想在特定行业里去微调自己的大模型，最常用的也是监督微调，所以监督微调的数据集格式是我们后续重点学习的内容。然后其他微调技术还包括无监督自监督微调强化学习微调等等，这些我们只做简单了解，不用过多深入。