荣山的博客

无论是开发交互式代理、复杂决策系统还是迭代处理模型，LangGraph都提供了所需的工具和灵活性，使您能够创造更智能和响应更迅速的应用。LangGraph通过扩展LangChain的功能，引入循环计算和状态执行，显著提升了LLM应用的能力。LangGraph以其循环计算、状态执行和条件逻辑，成为开发者探索LLM应用新可能的关键工具。

Zer0-0:不使用所有类型的分片，仅使用DeepSpeed作为DDP，速度最快(显存够时使用)。Zero-1:切分优化器状态，分片到每个数据并行的工作进程(每个GPU)下;Zero-2:切分优化器状态+梯度，分片到每个数据并行的工作进程(每个GPU)下。首先deepspeed是一个pytorch优化库，用来加速分布式训练。Zero-3:切分优化器状态+梯度+模型参数，分片到每个数据并行的工作进程(每个GPU)下。核心便是其Zero策略，ZeRO训练支持了完整的ZeRO Stages1,2和3.

Fine-tuning是一种常见的迁移学习方法，它通过在特定任务上继续训练预训练模型来调整模型参数。