AI学习专题（一）LLM技术路线

阶段 1：AI 及大模型基础（1-2 个月）

数学基础

• 线性代数（矩阵、特征值分解、SVD）
• 概率论与统计（贝叶斯定理、极大似然估计）
• 最优化方法（梯度下降、拉格朗日乘子法）

编程 & 框架

• Python（NumPy、Pandas、Matplotlib）
• PyTorch & TensorFlow 基础
• Hugging Face Transformers 入门

深度学习基础

• 机器学习基础（监督/无监督学习、正则化、过拟合）
• 反向传播、优化器（SGD、Adam）
• 常见神经网络（CNN、RNN、LSTM、Transformer）

---

阶段 2：大模型核心技术（2-3 个月）

Transformer 及 NLP

• Transformer 结构（Self-Attention、Multi-Head Attention）
• BERT、GPT、T5、LLaMA 工作原理
• 预训练与微调（Fine-tuning、LoRA、PEFT）

训练与推理

• 数据预处理（Tokenization、数据增强）
• 预训练过程（Masked LM、Causal LM）
• 高效训练技巧（Mixed Precision、梯度累积）
• 推理加速（ONNX、TensorRT、vLLM）

分布式训练

• Data Parallel vs. Model Parallel
• ZeRO、DeepSpeed、FSDP
• 多 GPU/TPU 训练

---

阶段 3：大模型工程实践（3-4 个月）

模型优化

• Prompt Engineering（Zero-shot、Few-shot、Chain-of-Thought）
• 微调（LoRA、Adapter、P-Tuning）
• 模型蒸馏、剪枝、量化（QAT、PTQ）

RAG（检索增强生成）

• 知识检索（FAISS、Weaviate、ChromaDB）
• LangChain 框架
• 向量数据库优化（HNSW、PQ）

推理优化

• KV Cache、FlashAttention
• 大模型 Serving（vLLM、Triton、TGI）

MLOps

• 模型管理（MLflow、Weights & Biases）
• CI/CD 自动化部署
• 监控 & A/B 测试

---

阶段 4：前沿技术 & 论文阅读（长期）

• Sora/Gen-2（视频生成模型）
• Qwen、Gemini、Claude 最新研究
• MoE（Mixture of Experts）
• 多模态大模型（CLIP、BLIP-2、Grok）

---

阶段 5：实战项目

• 大模型微调：用 LoRA 微调 LLaMA 进行问答
• RAG 系统：结合 LangChain 构建企业知识库
• 代码生成：基于 StarCoder 训练代码助手
• 视频生成：探索 Sora/Gen-2 的 Prompt Engineering