第三讲《基于 InternLM 和 LangChain 搭建你的知识库》笔记

视频链接

文档链接

1、大模型开发范式

两种方式：

• RAG (Retrieval-Augmented Generation)： RAG是一种结合了检索和生成能力的深度学习模型架构。它通常基于Transformer模型构建，如GPT系列或者BERT等预训练模型。RAG的主要特点是能够从外部知识库中检索相关信息，并将其融入到文本生成过程中。通过这种方式，RAG可以有效地利用大量的外部信息来增强其生成内容的质量和准确性，尤其是在处理需要广泛知识背景的任务时，例如问题回答、文档摘要生成等。
• Finetune： Finetune则是一个机器学习过程中的术语，指的是对预先训练好的模型进行微调以适应特定任务的过程。在NLP中，许多预训练模型（如BERT、GPT-3等）首先是在大规模无标注数据上进行了预训练，学习到了丰富的通用语言表示。当应用到具体任务（如情感分析、命名实体识别、文本分类等）时，由于预训练模型已经具备了一定的语义理解能力，所以只需要在较小规模且有标签的目标数据集上进行finetune，即调整部分网络层的权重参数，从而使模型更好地适应新任务的要求，从而达到较高的性能和准确率。

2、LangChain简介

3、构建向量数据库

4、搭建知识助手

5、WebDemo部署