大模型应用开发所需的技术栈概览

一、基础技术层

1.大模型架构

• 掌握以 Transformer 为核心的结构（如BERT、GPT系列），理解自注意力机制和预训练方法 。
• 熟悉主流大模型（如LLaMA、ChatGLM）的微调与适配技术 。

2.数据处理与增强

• 数据清洗、标注、向量化（Embedding）技术，以及向量数据库（如Chroma、Pinecone）的使用 。
• 构建“湖仓一体”架构存储原始数据与向量数据，支持高效检索。

---

二、应用开发层

2.1.提示词工程（Prompt Engineering）

• 设计高质量提示词，优化模型输出的准确性与可控性。
• 结合特定场景动态生成提示词，例如通过Agent调用外部工具。

2.1.RAG（检索增强生成）

在大型 AI 模型中，RAG（Retrieval-Augmented Generation）是一种模型架构，它结合了检索（Retrieval）和生成（Generation）两种方法，用于处理自然语言生成任务。

• 将企业知识库与外部信息整合，利用向量检索提升模型回答的领域适配性。
• 典型流程：数据向