AI大模型学习路线

第一阶段  大模型开发基础

第一章 AI时代

1、为什么要使用大模型开发？

2、需要准备的工具和环境

第二章 大模型的训练与应用

1、大模型发展史

2、从大模型预训练、微调到应用GPT结构剖析

3、大模型家族、类别、应用场景、RAG、Agent与小模型

第三章 大模型实操与API调用

1、通过API调用大模型

2、单论对话与多轮对话调用

3、开源模型与闭源模型调用

4、ChatGLM、Baichuan，Yi-34B调用、GPT、LLaMA模型调用

5、模型的部署、容器化

第四章 提示工程技术

1、提示词的常见结构

2、提示词的模板化

3、Zero-shot与Few-shot

4、In-context learning

5、Chain of thought prompting

第五章 提示工程技术

1、Tree of thought prompting

2、Graph of thought prompting

3、Self-consistency

4、Active-prompt

5、Prompt chaining

第二阶段  RAG基础与架构

第六章 RAG基础与架构

1、为什么需要RAG

2、RAG的经典应用场景

3、RAG的经典结构与模块

4、向量数据库

5、检索与生成

第七章 基于RAG的PDF文档助手

1、产品介绍与核心功能

2、技术方案与架构设计

3、文档读取和解析

4、文档的切分和文档的向量化

5、query搜索与文档排序

6、提示模板与大模型API接入

7、模型部署与web应用

第八章 文档切分常见算法

1、根据每个Sentence切分

2、根据固定字符数切分

3、根据固定sentence数切分

4、根据递归字符来切分

5、根据语义相似度来切分

第九章 向量数据库常见算法

1、常用向量数据库以及类别

2、向量数据库与索引算法

3、到排表与搜索优化

4、KNN与近似KNN

5、Product Quantization

第十章 向量数据库算法进阶-HSNW

1、HSNW算法在索引中的重要性

2、HSW算法解读

3、HSW图中的搜索问题

4、Skip List讲解

5、具有层次结构的NSW

第十一章 项目实战-基于RAG的新闻推荐

1、推荐系统原理、应用场景以及架构剖析

2、传统推荐算法与基于LLM推荐算法

3、新闻数据的准备与整理

4、推荐中的召回与精排

5、精排与Prompt构建

6、模型部署与测试

第三阶段  RAG与LangChain

第十二章 LangChain基础应用

1、为什么需要LangChain

2、通过一个小项目快速理解各个模块

3、LangChain调用模型

4、PromptTemplate的应用

5、输出格式设定

6、Pydantic Object设计

第十三章 理解Function Calling

1、什么是Function Calling

2、自定义输出结构

3、基于OpenAI调用Function Calling

4、Function calling的稳定性

5、Langchain与Function Calling

第十四章 LangChain与Retrieval组件

1、Document Loaders

2、Text Splitters

3、Text Embedding模型

4、常用的向量数据库调用

5、常用的Retriever

第十五章 LangChain与chain组件

1、为什么需要Chain

2、LLMchain、Sequential Chain

3、Transform Chain

4、Router Chain

5、自定义Chain

第十六章 Advanced RAG

1、经典RAG的几个问题

2、Self-querying retrieval

3、MultiQuery retriever

4、Step-back prompting

5、基于历史对话重新生成Query

6、其他Query优化相关策略

第十七章 高级RAG

1、Sentence window retrieval

2、Parent-child chunks retrieval

3、Fusion Retrieval

4、Ensemble Retrieval

5、RPF算法

第十八章 基于RAGAS的RAG的评估

1、为什么需要评估RAG

2、RAG中的评估思路

3、评估指标设计

4、套用在项目中进行评估

5、RAGAS评估框架的缺点

第十九章 实战基于高级RAG的PDF问答

1、需求理解和系统设计

2、经典RAG架构下的问题

3、检索器优化

4、生成器优化

5、系统部署与测试

第四阶段 模型微调与私有化大模型

第二十章 开源模型介绍

1、模型私有化部署的必要性

2、中英开源模型概览与分类

3、ChatGLM、Baichuan、Yi等中文开源模型

4、LLaMA、Mistral系列英文开源模型

5、微调所需要的工具和算力

第二十章 模型微调基础

1、判断是否需要模型微调

2、模型微调对模型的影响和价值

3、选择合适的基座模型

4、数据集的准备

5、微调训练框架的选择

第二十二章 GPU与算力

1、GPU与CPU

2、GPU的计算特性

3、微调所需要的算力计算公式

4、常见GPU卡介绍与比较

5、搭建GPU算力环境

第二十三章 高效微调技术-LORA

1、全量微调与少量参数微调

2、理解LoRA训练以及参数

3、PEFT库的使用

4、LoRA训练硬件资源评估

5、认识QLoRA训练

第二十四章 实战基于ChatGLM-6B+LoRA对话微调模型

1、理解ChatGLM模型家族以及特性

2、导入模型以及tokenizer

3、设计模型参数以及LoRA参数

4、训练以及部署微调模型

5、测试微调模型