大模型LLM应用随笔
文章平均质量分 92
大模型LLM应用随笔:从惊艳到思考
大模型LLM(Large Language Model)的应用如雨后春笋般涌现,从生成文本、回答问题到辅助创作、甚至代码编写,它们的能力一次又一次地刷新着我的认知。
小技工丨
所有的等待终将有所归属
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
LLaMA-Factory:了解webUI参数
文章主要介绍了微调方法(Finetuning method)及其相关参数配置,包括全量微调(full)、冻结微调(freeze)和低秩微调(lora)三种策略,分别适用于不同资源场景和任务需求。全量微调效果最佳但资源消耗大,冻结微调显存需求低但灵活性较差,低秩微调则在参数效率和训练速度上表现优异。此外,文章还提到其他优化工具如RLHF、GaLore、BAdam等,这些工具与微调方法协同使用,进一步提升训练效率和模型输出质量。文章还详细介绍了训练阶段(Stage)和基本配置参数,如量化、学习率、批次大小等,帮原创 2025-05-19 17:08:06 · 1957 阅读 · 0 评论 -
LLaMA-Factory:准备模型和数据集
话接上回,由于咱用的是 RTX 4090 笔记本的 16GB VRAM 限制,建议选择较小的模型(如 LLaMA 3.1 8B、DeepSeek-R1-Distill-Qwen-7B)并使用量化。⚠️。原创 2025-05-16 15:13:12 · 1673 阅读 · 0 评论 -
LLaMA-Factory:环境准备
注意: RTX 4090 笔记本 GPU 的 16GB VRAM 限制了可运行的模型大小。建议使用 4-bit 或 8-bit 量化模型(如 LLaMA 3.1 8B 或 13B)以适应 VRAM 限制。原创 2025-05-16 15:08:35 · 1684 阅读 · 0 评论 -
什么是RAG?什么又是GraphRAG?
GraphRAG 基于图的RAG,这一个方案也是一个项目,基于这个方案的项目有fast graph rag和graph rag等等。咱们要说的就是graph rag这个项目,是微软在去年7月份开源的。GraphRAG代表了知识管理技术的范式转变,它通过结合知识图谱与大语言模型,解决了传统RAG在复杂关系推理和全局信息整合方面的局限性,为企业的知识资产管理提供了革命性的解决方案。相较于在基础的 RAG 流程中,对原始数据除了做向量索引之外,还要用大模型做一个知识图谱的抽取,形成点与边关联的网状结构。原创 2025-04-28 17:48:32 · 632 阅读 · 0 评论 -
详解大语言模型生态系统概念:lama,llama.cpp,HuggingFace 模型 ,GGUF,MLX,lm-studio,ollama这都是什么?
llama,llama.cpp,HuggingFace 模型 ,GGUF,MLX,lm-studio,ollama这些名词的概念给个详细的解释,彼此什么关系?是不是头很晕?原创 2025-04-29 18:45:00 · 974 阅读 · 0 评论 -
GraphRAG知识库概要设计展望
GraphRAG图基检索增强生成,从原始文本中提取知识图谱、构建社区层次结构、为这些社区生成摘要,然后在执行基于RAG的任务时利用这些结构。旨在利用知识图谱和大语言模型(LLMs)来提升信息处理能力和问答能力。而标准RAG是一种基础版本的检索增强生成架构,采用前置处理流程,通过chunk方式来切割文档,使用纯文本片段的朴素语义进行搜索。当面临以下情况时,GraphRAG比标准RAG有更好的表现:当一些实体(名词)占比比较小,通过标准RAG无法正确召回时;原创 2025-04-28 17:48:23 · 1101 阅读 · 0 评论
分享