LLM大模型落地-从理论到实践

最新推荐文章于 2025-06-09 23:54:15 发布

hhaiming_

最新推荐文章于 2025-06-09 23:54:15 发布

阅读量1.2k

点赞数 25

文章标签：语言模型人工智能 ai 深度学习

本文链接：https://blog.youkuaiyun.com/m0_70839135/article/details/140351471

版权

按个人偏好和目标总结了学习目标和路径（可按需学习），后续将陆续整理出相应学习资料和资源。

熟悉主流LLM（Llama, ChatGLM, Qwen）的技术架构和技术细节；有实际应用RAG、PEFT和SFT的项目经验
较强的NLP基础，熟悉BERT、T5、Transformer和GPT的实现和差异，能快速掌握业界进展，有对话系统相关研发经验
掌握TensorRT-LLM、vLLM等主流推理加速框架，熟悉模型量化、FlashAttention等推理加速技术方案，对分布式训练DeepSpeed框架有实战经验
熟悉Pytorch，具备扎实的深度学习和机器学习基础，对C/C++、Cuda、计算机系统有一定了解

视频课程：
- 吴恩达机器学习入门：https://www.coursera.org/learn/machine-learning
- 李沐讲AI：https://space.bilibili.com/1567748478?spm_id_from=333.337.0.0
- 台大李宏毅-机器学习 https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.php
- 斯坦福NLP cs224n https://web.stanford.edu/class/cs224n/
书籍
- 深度学习入门：基于Python的理论与实践：numpy实现MLP、卷积的训练
  -《深度学习进阶：自然语言处理》：numpy实现Transformers、word2vec、RNN的训练
- Dive In Deep Learning(动手学深度学习) https://d2l.ai/
- 《神经网络与深度学习》https://nndl.github.io/
- 《机器学习方法》：李航老师的机器学习 + 深度学习
强化学习
- 强化学习教程-蘑菇书EasyRL（李宏毅强化学习+强化学习纲要）https://datawhalechina.github.io/easy-rl/
- 动手学强化学习 https://github.com/boyu-ai/Hands-on-RL/blob/main/README.md

应用：

Zero Shot / Few Shot 快速开箱即用

领域数据-指令微调LLM

PEFT (Parameter Efficient Fintuning):
- LORA (Low-Rank Adaption of LLMs)
- QLORA
- SLORA
- P-Tuning v2
参数高效的微调，适合用于纠正模型输出格式（PEFT上限不高，并向LLM输入的知识有限）
SFT (Supervised Fintuning):
- 全参数监督微调，使用prompt指令样本全量微调LLM（可以注入新的领域知识）
- 需要控制样本配比（领域数据 + 通用数据）