记录个人日常所学所思

最近Deepseek（后续简称“DS”）爆火，所有人都在谈论DS厉害，最近学习整理了一下deepseekMOE技术背后的MOE模型，MOE模型具体是什么？它和传统稠密（dense）结构的transformers模型有什么区别？它的工作原理是什么？以上内容仅代表个人理解，如有错误欢迎交流。

简单分享关于文生图模型Stable Diffusion的基础知识，包含涉及的相关模型知识，如：VAE/UNet/Diffusion Mode等模型基础知识

浅谈多模态文生图SD模型成功的基石---CLIP图文匹配模型

知识蒸馏（Knowledge Distillation，简记为 KD）是一种经典的模型压缩方法，核心思想是通过引导轻量化的学生模型“模仿”性能更好、结构更复杂的教师模型（或多模型的 ensemble），在不改变学生模型结构的情况下提高其性能。像知识渊博的老师向传授学生知识；更像老师和学生共同学习；更像学生自己学习知识。日常学习总结。

最强端侧多模态大模型MiniCPM-V本地训练保姆教程

使用tensorboard可视化工具比对模型loss

Flux.1-dev多模态模型本地训练&推理（GPU&NPU环境）保姆教程

同一模型，从CPU或GPU移植到NPU中存在精度下降问题，对比NPU芯片中的API计算数值与CPU或GPU芯片中的API计算数值，进行问题定位

Agent智能体无疑是24年最为火爆的话题之一，那么什么是Agent智能体？有什么作用？为什么需要Agent智能体？

浅谈Continue Pretraining基本概念/产生原因/逻辑本质/训练方式/使用场景等

提示词工程之In-context learning技术

我们根据性能问题的场景，按照单机和集群场景进行分类，再明确性能问题属于哪一类，明确好性能问题背景之后，才方便进行下一步问题的定位；在明确问题背景后，参考，选择对应的性能工具，采集性能数据并拆解性能，找到需要提升性能的模块；在明确性能瓶颈模块后，将问题细化定位到下发、计算和通信等模块，并通过本文目录搜索到对应章节找到对应优化算法。

LLaMA-Factory是一个开源的大规模语言模型微调框架，设计用于简化大模型的训练过程。它提供了一个统一的平台，支持多种大模型的微调，包括LLaMA、BLOOM、Mistral等，旨在帮助用户快速适应和调整这些模型以适应特定的应用场景。LLaMA-Factory通过提供一套完整的工具和接口，使用户能够轻松地对预训练的模型进行定制化的训练和调整，包括（增量）预训练、指令监督微调、奖励模型训练、PPO训练、DPO训练和ORPO训练等多种训练方法。

背景：在Transformer 结构中，自注意力机制的时间和存储复杂度与序列的长度呈平方的关系，因此占用了大量的计算设备内存和并消耗大量计算资源。如何优化自注意力机制的是大语言模型需要面临的重要问题。

liunx系统基于CUDA生态从0开始构建大模型训练环境；ubuntu+CUDA+pytorch+ChatGLM

DeepSpeed是一个由Microsoft 公司开发的开源深度学习优化库，旨在提高大规模模型训练的效率和可扩展性，使研究人员和工程师能够更快地迭代和探索新的深度学习模型和算法。它采用了多种技术手段来加速训练，包括等。此外，DeepSpeed 还提供了一些辅助工具，例如，以帮助开发者更好地管理和优化大规模深度学习训练任务。

这些大型预训练模型通常是在大量无标注或弱标注的数据上通过自监督学习（self-supervised learning）的方式预先训练得到的，目的是捕获语言或数据中的通用表示（representations）。此外，预训练模型还允许研究人员和开发者利用有限的标注数据来训练模型，降低了对大规模标注数据的依赖。这些任务通常需要利用预训练模型学到的通用表示，通过微调（fine-tuning）或特征提取（feature extraction）的方式，来适应特定的应用场景。

随着ChatGPT、Claude 等通用对话模型的成功，强化学习在自然语言处理领域获得了越来越多的注意力。在深度学习中，有监督学习和强化学习不同，可以用旅行方式进行更直观的对比，和可以看做，每种旅行都具备着自己独特的风景、规则和探索方式。

大模型分布式训练并行策略介绍

是指在预训练的大型模型基础上调整所有层和参数，‌使其适应特定任务的过程。‌这一过程使用较小的学习率和特定任务的数据进行，‌可以充分利用预训练模型的通用特征。

常常在开源模型仓看到大模型库中有`base`、`chat`、`instruct`和`4bit`等模型，作为小白来说经常搞不明白需要下载哪一个，今天就带大家简单了解一下

通俗理解什么是RLHF

浅谈大语言模型输出随机性参数temperature

浅谈大预言模型本文生成随机性控制超参之top_K和top_P

浅谈大预言模型文本生成逻辑

算法(Algorithm)：算法是解决某一特定问题的步骤或规则集合。在AI/ML领域中，算法是用于训练模型、优化参数和执行推理的数学规则和计算方法。算法是模型训练的核心，通过不断优化模型参数以最小化误差或最大化性能。

通俗理解提示工程/RAG及微调

通俗易懂理解自注意力机制

但是通用大模型在某些方面的垂直能力可能还不具备，因此需要用到一些领域的数据或私有化数据对大模型进行改良，这个过程叫做微调。通过海量数据数据，训练一个通用大模型，此时大模型具备很多能力。简单理解大模型预训练和微调的过程。

AI大模型基础名词概念总结