我的博客

文章主要介绍了微调方法（Finetuning method）及其相关参数配置，包括全量微调（full）、冻结微调（freeze）和低秩微调（lora）三种策略，分别适用于不同资源场景和任务需求。全量微调效果最佳但资源消耗大，冻结微调显存需求低但灵活性较差，低秩微调则在参数效率和训练速度上表现优异。此外，文章还提到其他优化工具如RLHF、GaLore、BAdam等，这些工具与微调方法协同使用，进一步提升训练效率和模型输出质量。文章还详细介绍了训练阶段（Stage）和基本配置参数，如量化、学习率、批次大小等，帮

话接上回，由于咱用的是 RTX 4090 笔记本的 16GB VRAM 限制，建议选择较小的模型（如 LLaMA 3.1 8B、DeepSeek-R1-Distill-Qwen-7B）并使用量化。⚠️。

注意: RTX 4090 笔记本 GPU 的 16GB VRAM 限制了可运行的模型大小。建议使用 4-bit 或 8-bit 量化模型（如 LLaMA 3.1 8B 或 13B）以适应 VRAM 限制。

GraphRAG 基于图的RAG，这一个方案也是一个项目，基于这个方案的项目有fast graph rag和graph rag等等。咱们要说的就是graph rag这个项目，是微软在去年7月份开源的。GraphRAG代表了知识管理技术的范式转变，它通过结合知识图谱与大语言模型，解决了传统RAG在复杂关系推理和全局信息整合方面的局限性，为企业的知识资产管理提供了革命性的解决方案。相较于在基础的 RAG 流程中，对原始数据除了做向量索引之外，还要用大模型做一个知识图谱的抽取，形成点与边关联的网状结构。

llama，llama.cpp，HuggingFace 模型 ，GGUF，MLX，lm-studio，ollama这些名词的概念给个详细的解释，彼此什么关系？是不是头很晕？

GraphRAG图基检索增强生成，从原始文本中提取知识图谱、构建社区层次结构、为这些社区生成摘要，然后在执行基于RAG的任务时利用这些结构。旨在利用知识图谱和大语言模型（LLMs）来提升信息处理能力和问答能力。而标准RAG是一种基础版本的检索增强生成架构，采用前置处理流程，通过chunk方式来切割文档，使用纯文本片段的朴素语义进行搜索。当面临以下情况时，GraphRAG比标准RAG有更好的表现：当一些实体（名词）占比比较小，通过标准RAG无法正确召回时;