Whoisbug的博客

监督微调（SFT）作为一种重要的技术手段，在自然语言处理和人工智能领域发挥着关键作用。通过在预训练模型的基础上进行特定任务的微调，SFT能够显著提升模型的性能，使其更好地适应特定场景的需求。尽管SFT在数据隐私、模型偏见和可解释性等方面面临一些挑战，但随着技术的不断进步，这些问题有望得到解决。未来，SFT将继续在多个领域发挥重要作用，为人工智能的发展提供有力支持。

强化学习作为机器学习的重要分支，通过模拟智能体与环境的交互，为解决复杂的决策问题提供了一种强大的工具。从基本概念到实际应用，强化学习涵盖了丰富的理论基础和广泛的应用场景。尽管其发展仍面临诸多挑战，但随着技术的不断进步，强化学习有望在未来实现更广泛的应用和更深远的影响。通过不断探索和创新，强化学习将在人工智能的广阔舞台上发挥更大的作用，为人类社会的发展做出重要贡献。

微调是获取一个已经在某些任务上进行过训练的模型，然后对其进行调整以执行类似任务的过程。当一个新的数据集或任务需要模型进行一些修改时，或者当模型在特定任务上表现不佳时，通常会使用微调。例如，一个经过训练生成故事的模型可以被微调来生成诗歌。这是可能的，因为模型已经学会了如何生成自然语言和编写故事，如果对模型进行适当的调整，这种技能也可以用于生成诗歌。PEFT（参数高效微调）是一组技术或方法，旨在以最节省计算资源和时间的方式微调大型模型，同时又不会损失完全微调所能达到的性能。

自早期研究引入检索增强生成（Retrieval-Augmented Generation，RAG）以来，它已成为处理大型语言模型（LLMs）的主流方法。从本质上讲，RAG 从各种来源收集知识，并使用语言模型生成答案。然而，对于基本的 RAG（也称为朴素 RAG），在处理复杂查询时可能难以获得准确结果，并且在处理大型数据集时会面临响应时间慢和成本高的问题。为了解决这些挑战，研究人员开发了多种高级 RAG 技术。本文概述了这些高级方法，以帮助你在朴素 RAG 不足时获得更好的结果。

大型语言模型的大部分知识来自预训练。我们可以通过继续预训练的形式进行微调，让大型语言模型接触更多（以及新的）数据 / 知识。以对齐为重点的目标可以通过在小型、高质量数据集上进行微调（有监督微调，SFT）来实现。我们不需要大量数据来学习输出的风格或格式，只有学习新知识时才需要。在进行微调时，非常重要的一点是我们要清楚自己的目标 —— 是对齐还是知识注入。然后，我们应该设置合适的基准测试，以便能够准确、全面地评估该目标是否已经实现。模仿模型未能做到这一点，从而导致了一系列具有误导性的说法 / 结果！