夏沫の梦的博客

a. hw八卡机平台是四颗KP 920处理器，CPU和GPU是直通模式，中间无PCIE sw芯片，并且CPU的PCIE lane数量有限，每CPU支持PCIE 4.0x40对应2个NPU，200Gb的网卡也是通过NPU直出，卡卡间无类似Nvlink sw芯片，单卡到多卡为7条链路的总带宽，单卡到单卡卡互联带宽取决于单条链路的速率。a. HGX模组是英伟达推出的标准产品，主要包括了8块OAM的GPU卡、GPU互联底板、Nvlink SW芯片等。a. 通过PLX（PCIE SW芯片）扩展的三种拓扑。

f. INT8：8位整数，用于量化神经网络的计算，由于存储和计算都相对于浮点数更加高效，在低功耗、嵌入式系统和边缘设备等领域有着广泛的应用。算力在科学研究、工程计算、人工智能、金融分析、医疗健康等领域具有广泛的应用，推动了各个领域的发展和进步。随着科技的不断进步，量子计算、边缘计算、异构计算和绿色计算等新技术将推动算力的未来发展。a. FP64：双精度占用64位空间，通常用于大规模科学计算、工程计算等需要高精度计算的算法。算力在科学研究、工程计算、人工智能等领域具有广泛的应用，推动了各个领域的发展和进步。

a. 训练：通过设计合适 AI 模型结构以及损失函数和优化算法，将数据集以 mini-batch （数据集分为多个批次，作用是每次使用少量数据更新模型参数，再用新的数据验证等刚得到模型参数的计算效果）反复进行前向计算并计算损失，反向计算梯度利用优化函数来更新模型，使得损失函数最小。b. 当完成模型训练，意味着在给定的数据集上，模型已经达到最佳或者满足需求的预测效果。最终目标是将训练好的模型部署生产环境中。b. 机器自己根据数据找出所有的参数，机器自己后天学习的成果，得到的不同f函数就是不同模型。

生成式AI（Generative AI）是指通过机器学习模型生成新的数据或内容的人工智能技术。生成式AI可以生成文本、图像、音频、视频等多种形式的数据，广泛应用于内容创作、数据增强、自动化生成等领域。大模型（Large Model）是指具有大量参数和复杂结构的深度学习模型。大模型通常基于深度神经网络，特别是Transformer架构，通过在大规模数据集上进行训练，能够捕捉复杂的模式和关系。大模型的代表包括 GPT-3、BERT、T5、DALL-E 等。超大参数自然语言模型+对话交互=生成式AI。

a. 催生大模型为中心的开发范式：大模型将成为未来企业的基础资产之一，基于大模型+微调的开发模式，结合人工反馈训练、提示工程的设计，可以在大模型通用化能力的基础上，结合企业专有的领域数据，得到效果更好的领域模型，并拓展应用场景。例如，生成式AI在个性化推荐、教育培训等领域的应用，提高了个性化服务的效果。9. 生成式AI在数据增强领域的应用能够生成新的数据样本，扩展数据集，提高模型的训练效果和泛化能力。生成式AI能够创作新的内容，改变了传统的娱乐媒体内容由人工生产的方式，带来的生产力的提升与突破。

LLaMA2 是 LLaMA（Large Language Model Meta AI）的第二代模型，由 Meta（前身为 Facebook）开发。

a. 催生大模型为中心的开发范式：大模型将成为未来企业的基础资产之一，基于大模型+微调的开发模式，结合人工反馈训练、提示工程的设计，可以在大模型通用化能力的基础上，结合企业专有的领域数据，得到效果更好的领域模型，并拓展应用场景。b. 场景化算法并存：对于特定的场景问题，出于场景（特别是传统分析型AI在数值分析的应用场景）和资源的限制（在端侧部署），场景化算法也不会完全被替代。生成式AI能够创作新的内容，改变了传统的娱乐媒体内容由人工生产的方式，带来的生产力的提升与突破。生成式AI带来的变革。

模型水印是一种用于模型版权保护的技术，通过向大模型植入水印（触发集数据加上特定的噪声或者标志），使得模型学习到这种特定的噪声或者标志的特征，通过特定的问题可以从大模型的回答中提取出水印进行验证。主要目的是保护模型的知识产权，防止未经授权的复制和使用。水印可以在模型的训练过程中嵌入，也可以在模型的推理过程中检测。

模型在训练过程中的中间状态和结果，是大语言模型在训练过程中进行容错的一种关键技术，通过将中间状态和结果作为checkpoint保存到持久化存储，在训练任务由于异常失败时，可以从checkpoint中恢复训练中间状态继续训练，Checkpoint 的主要目的是防止训练过程中因意外中断而导致的训练进度丢失，并提供模型的不同版本以便于选择最佳模型。断点续训的基本原理是定期保存模型的状态（即检查点），包括模型的权重、优化器的状态、当前的训练轮数等信息。

模型量化，又称为模型压缩，是指以较低的推理精度损失将连续取值（通常为float32或者大量可能的离散值）的浮点型权重近似为有限多个离散值（通常为int8或int4）的过程。通过以更少的位数表示浮点数据，模型量化可以减少模型尺寸，进而减少在推理时的内存消耗，并且在一些低精度运算较快的处理器上可以增加推理速度。模型结构设计上，不要限制激活值的范围。(比如relu比relu6好)权衡好量化位宽。

DeepSpeed是一个由微软开发的开源深度学习优化库，基于pytorch构建，旨在提高大规模模型训练的效率和可扩展性。它通过多种技术手段来加速训练，包括模型并行化、梯度累积、动态精度缩放、本地模式混合精度等。DeepSpeed还提供了一些辅助工具，如分布式训练管理、内存优化和模型压缩等，以帮助开发者更好地管理和优化大规模深度学习训练任务。

Seldon Core 目前是机器学习模型部署领域最受欢迎的方案之一，由 Seldon 公司开源和维护，旨在为不同框架下训练出来的模型（Tensorflow，Pytorch，SKLearn，XGBoost）提供一套相对统一的部署方式，支持多种不同类型模型的Inference Server。seldoncore将ML模型（Tensorflow、Pytorch、H2o等）或语言包装器（Python、Java等）转换为生产REST/GRPC微服务。

Low-RankAdaption of Large Language Models，大语言模型的低秩适应，是一种PEFT（参数高效性微调方法），其核心思想是对大型模型的权重矩阵进行隐式的低秩转换，LoRA 主要应用于自然语言处理（NLP）和计算机视觉（CV）等领域。

ChatGLM是由清华技术成果转化的公司智谱AI发布的开源的、支持中英双语问答的对话语言模型系列，并针对中文进行了优化，该模型基于General Language Model（GLM）架构构建，ChatGLM是一款基于人工智能技术的智能聊天机器人，它具备强大的自然语言处理能力，能够理解和回答我们的问题，通过与ChatGLM的对话，我们可以轻松获取各种信息，解决生活中的疑惑，甚至寻求专业建议，ChatGLM的出现，让我们在获取信息、解决问题上更加高效便捷。

Large Language Model Meta AI，由Meta AI公司于2023年2月发布的开放且高效的大型基础语言模型系列，共有7B、13B、33B、65B四种版本，旨在推动自然语言处理（NLP）领域的发展，提供高效、强大的语言理解和生成能力。

Large Language Model，称大规模语言模型或者大型语言模型，是一种基于大量数据训练的统计语言模型，可用于生成和翻译文本和其他内容，以及执行其他自然语言处理任务（NLP），通常基于深度神经网络构建，包含数百亿以上参数，使用自监督学习方法通过大量无标注文本进行训练。例如国外的有GPT-3、GPT-4、PaLM、Galactica和LLaMA等，国内的有ChatGLM、文心一言、通义千问、讯飞星火等。

人工智能技术已经成为现代科技发展的重要驱动力，广泛应用于自然语言处理、计算机视觉、语音识别、自动驾驶等领域。AI技术的发展经历了早期的神经网络研究、现代的深度学习兴起以及生成式AI的广泛应用。