JustinMars的博客

KTO旨在通过优化知识从预训练模型向微调模型的转移过程，使得微调后的模型能够更好地遵循人类指令，提高模型在特定任务上的性能，同时保持模型的泛化能力。它主要关注如何在微调过程中有效地利用预训练模型的知识，减少过拟合，增强模型与人类期望输出的对齐程度。

摘要：指令微调（SFT）通过标注数据优化大语言模型的任务性能，而参数高效微调（PEFT）技术（如LoRA）仅调整少量参数即可实现高效训练。两者结合能在降低计算成本的同时提升模型指令遵循能力。实际应用中，需准备高质量指令数据集（如Alpaca），选择基座模型（如Llama3），并借助LLaMA-Factory或Hugging Face TRL等工具实现SFT与PEFT的协同优化，典型流程包括数据预处理、LoRA配置和模型训练。

Milvus 2.4 开始原生支持 Hybrid 查询，可以直接用关键词 + 向量同时搜！Qdrant 支持 “filter + vector” 的查询，很丝滑。→ 先关键词召回，再向量检索排序，或者两者结合。

Milvus 支持混合检索，即同时进行向量检索和基于关键词或其他属性的过滤。通过在查询时使用 `expr` 参数，你可以轻松地将关键词过滤与向量相似度检索结合起来，以实现更精确和高效的数据检索。

使用 DeepSeek 模型（如）进行微调，可以分为几个关键步骤，下面以 DeepSeek-LLM 为例说明，适用于 Q&A、RAG、聊天机器人等方向的应用。

模式描述特点应用场景稀疏召回关键词匹配快速、精准但语义弱传统检索稠密召回向量相似度语义强、可扩展QA/RAG混合召回稀疏+稠密提升Recall覆盖通用RAG多模态召回图文检索等支持多模态输入图文问答生成式召回LLM生成检索线索灵活、可控指令召回LLM控制检索流程可解释、复杂推理多跳QA/Agent。

模块作用Embedding 模型把文本和问题转成向量向量数据库存储所有 chunk 向量 + 元信息相似度计算查询问题向量与数据库向量的“距离”Top-k 检索取出最相似的几个文本，拼接输入给 LLM。

内在幻觉是指模型生成的文本在形式上通顺、语法正确，但其内部逻辑结构不一致或语义推理存在错误。此类幻觉不依赖外部知识或输入背景，即使在无事实参照的生成任务中也可能出现。外在幻觉是指模型生成的文本与外部事实、上下文输入或知识源不一致，即模型在已有语义输入（如上下文、文档、图像或知识库）条件下，仍生成了与之矛盾或无关的信息。

矢量搜索正在从文本扩展到图像、视频、音频等领域，并成为多模态 AI 系统的底层“感知引擎”。图像矢量搜索的研究与实践，是构建下一代智能搜索与生成系统的关键支柱。掌握其底层机制与工程最佳实践，对于构建可靠、高效的 AI 应用至关重要。

模型幻觉指的是大型语言模型（LLMs）生成的内容与客观事实不符或者缺乏合理逻辑依据的现象。这是当前大模型应用中面临的一个关键问题，会严重影响模型输出的可信度和实用性。例如在问答系统中，模型可能会给出不存在的事件细节或者错误的知识信息。内在幻觉是指模型在生成内容时，由于自身知识理解和推理的局限，产生与已知事实冲突或者在语义逻辑上不合理的表述，不涉及外部知识检索。这种幻觉源于模型内部的参数和训练方式，使得它在处理输入时无法准确地表达真实信息。外在幻觉通常与RAG（检索增强生成）系统相关。

Hugging Face 通过提供预训练模型、数据集、以及推理和训练工具，极大地简化了自然语言处理任务的开发。无论是初学者还是经验丰富的研究人员，Hugging Face 都为 NLP 项目提供了极大的便利。如果你正在进行自然语言处理或机器学习任务，Hugging Face 是一个非常值得关注的平台。

- **Transformers** 是一种强大的架构，专为自然语言处理任务设计，提供了大量预训练模型，广泛应用于文本生成、机器翻译、文本分类等任务。- **PyTorch** 是一个灵活、动态的深度学习框架，适合研究和原型开发，尤其在计算机视觉和强化学习领域应用广泛。- **Keras** 是一个高层次的深度学习库，简化了模型构建和训练的流程，适合快速原型开发，通常与 TensorFlow 配合使用。

层归一化和批量归一化都是，目的是让训练更稳定、收敛更快，但应用场景和工作方式大不相同。

Transformer 架构是现代大模型的基石，下面我从结构、原理、多头自注意力、位置编码四个方面做一个清晰的解释。Transformer 由 编码器（Encoder） 和 解码器（Decoder） 两部分组成：每个 Encoder Block 包含两层：加上：结构类似于 Encoder，但多了一层：以文本生成为例：注意力机制的核心是：当前词应该关注哪些其它词，通过加权求和的方式融合信息。公式核心：[Attention(Q,K,V)=softmax(QK⊤dk)V][ \text{Attention}(Q

对大模型进行优化，可以从多个层面入手，包括等方向。下面我从这几个维度详细展开，并列举常用的优化策略和工程实践。

评估大模型（如大语言模型 LLM）的性能是一个多维度的问题，常常需要结合多个指标从不同角度来考察模型的能力。

BERT 采用 Transformer 编码器（Transformer Encoder），使用。来学习文本中的长距离依赖关系。不同于 LSTM 或传统 RNN，Transformer 允许。在 BERT 之前，许多 NLP 预训练方法（如 Word2Vec、GloVe）都是基于。，显著提升了自然语言理解（NLU）任务的表现。，导致模型无法充分利用句子中的全局信息。学习文本信息，从而更好地理解句子中的每个单词。，在 NLP 领域取得了革命性的突破。BERT 解决了这些问题，通过。

模型量化是指将神经网络中的权重、激活值及计算过程从高精度（如 32-bit 浮点数, FP32）转换为低精度（如 8-bit 整数, INT8），从而减少存储和计算负担，提高推理速度。

其核心思想是利用教师模型的知识指导学生模型的训练，以在保持性能的同时大幅减少计算资源需求。未来，随着深度学习技术的发展，知识蒸馏仍将继续发挥重要作用，并与其他模型优化方法结合，实现更高效的 AI 计算。：教师模型的输出通常是一个经过 Softmax 处理的概率分布，而不仅仅是硬标签。：在某些方法中，教师模型的梯度信息也可以作为指导信号，提高学生模型的优化效率。，学生模型），以此来减少模型的计算量和存储需求，同时尽可能保持较高的性能。：学生模型可以学习教师模型的隐藏层表示，以增强其表达能力。

语言大模型（如GPT系列）和计算机视觉大模型（如CLIP、YOLO等）在处理和存储大量高维数据时，通常使用向量数据库。向量数据库能够高效地存储和检索高维向量表示（embeddings），这些向量通常是通过深度学习模型（如BERT、ResNet等）生成的。随着大模型（LLM、VLM）的发展，向量数据库在存储、检索和高效查询嵌入向量方面发挥了关键作用。以下是常见的向量数据库及其在语言和计算机视觉大模型中的使用场景。使用场景：增强搜索引擎的功能，可以同时进行传统的文本搜索和基于向量的相似度搜索。

语言大模型（如OpenAI的GPT系列，DeepSeek等）完成问答任务的实现流程涉及多个步骤，包括数据处理、模型训练、推理、生成回答等环节。

将音频向量化是将音频数据转化为适合机器学习算法处理的向量表示的过程。这个过程通常涉及从原始音频信号中提取特征，并将这些特征转化为数字向量。

过拟合是机器学习中常见的问题，特别是当模型复杂度较高或训练数据量较少时。为了避免模型过度依赖训练数据中的噪声，采取一些有效的防止过拟合的方法非常重要。以下是几种常见的防止过拟合的技术，包括等，并对它们进行详细的介绍与对比。

早停（Early Stopping）简介早停是一种正则化技术，目的是在训练过程中避免模型过拟合。过拟合通常发生在模型在训练数据上表现很好，但在未见过的新数据上表现很差的情况。早停可以帮助我们在模型开始过拟合之前停止训练，从而提高模型的泛化能力。

梯度剪裁在模型微调中的作用非常重要，它能够帮助我们避免因梯度爆炸导致的不稳定训练过程，尤其是在大规模预训练模型微调中，使用梯度剪裁可以有效提高模型训练的稳定性和收敛速度。

针对语言大模型（如GPT、BERT等）进行微调时引入**权重衰减**（Weight Decay）正则化技术，主要目的是防止过拟合并提高模型在新任务上的泛化能力。对于语言模型的微调，权重衰减可以通过优化模型训练的过程，确保模型不会过度依赖训练数据中的特定模式，尤其是在数据较少的情况下。下面是权重衰减在语言大模型微调中的应用和注意事项。

Tokenization（分词）是自然语言处理（NLP）中一个非常重要的步骤，它的目标是将文本转换为模型可以理解的格式。对于像GPT、BERT等大型预训练模型来说，tokenization决定了文本如何转化为数字表示，从而影响模型在不同任务中的表现。接下来我会深入介绍tokenization的过程、不同的tokenization方法，以及它与模型微调（fine-tuning）之间的关系。

微调 T5 (Text-to-Text Transfer Transformer) 模型是一个在许多自然语言处理（NLP）任务中非常有效的技术。T5 是由 Google 提出的，它将所有的 NLP 任务都转化为文本到文本的格式，类似于“输入文本 -> 输出文本”的框架。微调 T5 主要是根据特定的任务（例如分类、生成、翻译等）对其进行定制，以提高模型在特定任务上的表现。

通过灵活的链（Chains）、工具（Tools）和代理（Agents）机制，LangChain使得集成不同的数据源和模型变得更加简单，能够广泛应用于聊天机器人、问答系统、智能搜索、自动化文档处理等领域。链的构建允许你以流水线的方式进行任务的处理，例如，输入文本通过一系列的步骤处理后，最终得到一个输出结果。这些工具可以在链中作为步骤的一部分使用，让语言模型可以与外部系统进行交互，从而增强模型的功能。根据应用的复杂度和需求，你可以选择合适的方式来维护和管理上下文，使得系统能够生成更具相关性和一致性的结果。

BRET结合了BERT和区域化图像特征的优势，使用Transformer架构有效地处理视觉和文本的联合任务。它适用于多模态任务，尤其是在视觉问答、图像字幕生成等应用中，表现出色。通过区域化的图像特征和强大的文本表示能力，BRET能够实现图像和文本的深度对齐，提升多模态任务的表现。

LoRA（Low-Rank Adaptation）是一种高效的模型微调方法，它通过对预训练语言模型的权重矩阵进行低秩分解，仅调整少量的低秩矩阵，从而在保持较高性能的同时，显著降低了计算和内存消耗。它适用于资源有限的场景，尤其是大规模预训练模型的微调，能够加速训练过程并节省计算资源。

大模型微调（Fine-tuning）方法众多，但在实际应用中，**全参数微调（Full Fine-tuning）、LoRA（低秩适配）、Adapter（适配层）、指令微调（Instruction Fine-tuning）和 RLHF（基于人类反馈的强化学习）**是最常用的技术。一家新闻媒体希望用 AI 生成新闻摘要，适配多种语言（如英文、法文、西班牙文），但不想为每种语言单独微调一个模型。全参数微调后的 GPT-3 能够更准确地总结金融报告，减少歧义，提高摘要质量。全参数微调是最直接、最传统的方法，

超参数优化是提升机器学习模型性能的关键步骤，不同的搜索方法适用于不同的任务场景。对于一般的机器学习任务，随机搜索或贝叶斯优化通常是较好的选择；对于深度学习任务，Hyperband 或进化算法可能更适合。

启发式方法提供了比传统搜索更高效的优化策略，尤其适用于高维、非凸、复杂的搜索空间。在实践中，选择合适的方法（如 GA、PSO 或贝叶斯优化）可以显著提高超参数调优的效率和模型性能。

通过 Docker，你可以快速而简洁地运行和管理 `Ollama` 容器化的 AI 模型。无论是开发、测试，还是生产环境，Docker 提供了隔离、灵活的环境来高效地部署 `Ollama` 模型。

Ollama 提供了一个强大而简单的命令行工具来管理和运行 AI 模型。通过这些命令，你可以轻松地安装、启动、停止、删除模型，或者与模型进行交互。根据你的需求，可以根据具体命令来执行各种任务。