AI基础介绍-优快云博客

本文链接：https://blog.youkuaiyun.com/m0_72676337/article/details/144614397

2022年11月30日，基于GPT-3.5的ChatGPT（Chat Generative Pre-Trained Transformer）正式发布，随后风靡全球。发布至今，ChatGPT访问量已超过10亿次，也是历史上最快达到1亿月活的应用，而且整个热潮已蔓延至微软、谷歌、英伟达等科技大厂，学术界以及产业界当中，引发所有人的讨论。

ChatGPT的推出可以说是一个标志性事件，它展示了人工自能在自然语言处理上的巨大进步，让大家看到AI不仅能处理数据，还能进行自然、流畅的对话，正是这种突破让这种人工智能进入了更多普通人的视野。

AI & AIGC

人工智能（Artificial Intelligence），英文缩写为AI。是新一轮科技革命和产业变革的重要驱动力量， [23]是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

生成式人工智能（AIGC即AI Generated Content）是指基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术。

生成式人工智能AIGC是人工智能1.0时代进入2.0时代的重要标志。

实现AIGC更加智能化、实用化的三大要素是：数据、算力、算法。

数据：AIGC人有我优的核心基础，包括存储（集中式数据库、分布式数据库、云原生数据库、向量数据库）、来源（用户数据、公开域数据、私有域数据）、形态（结构化数据、非结构化数据）、处理（筛选、标注、处理、增强…）

算力:为AIGC提供基础算力的平台，包括半导体（CPU、GPU、DPU、TPU、NPU）、服务器、大模型算力集群、基于IaaS搭建分布式训练环境、自建数据中心部署。

算法:通过模型设计、模型训练、模型推理、模型部署步骤，完成从机器学习平台、模型训练平台到自动建模平台的构建，实现对实际业务的支撑与覆盖。

训练 & 推理

大模型训练用俗话来讲就是人工智能算法训练，大模型训练就好比你是正在学习的学生，而你学习的过程就是大模型训练过程。

大模型训练过程是指通过大数据训练出一个复杂的神经网络模型，通过大量数据的训练确定网络中权重和偏置的值，使其能够适应特定的功能。在训练中需要调整神经网络权重以使损失函数最小，通过反向传播来执行训练以更新每层中的权重。

训练过程需要较高的计算性能、需要海量的数据、训练出的网络具有一定通用性，追求的是高计算性能（高吞吐率）、低功耗。

推理指利用训练好的神经网络模型进行运算，利用输入的新数据来一次性获得正确结论的过程。

推理相对来说对性能的要求并不高，对精度要求也不高，在特定的场景下，对通用性要求也低，推理芯片主要追求的是低延时（完成推理过程所需要的时间尽可能短）、低功耗。能完成特定任务即可，因为推理的结果直接提供给终端用户，所以更关注用户体验。

总之，模型训练可以理解为一个学生学习的过程，模型推理则类似于学生经过学习之后去参加考试，去做新的题型的过程。

AI训练芯片和推理芯片

AI芯片是大模型训练和推理的支撑。而AI芯片又分为训练（Training）芯片和推理（Inference）芯片，运用在不同的场景中承担不同的任务。他们的区别：

部署位置不同

大量的训练芯片都在云端，即部署于数据中心内，利用海量的数据和庞大而复杂的神经网络进行模型训练，这类芯片都很复杂。目前，除了Nvidia、AMD、Intel等芯片公司，谷歌等这些互联网公司都有云端训练芯片，国内华为、寒武纪还有好多初创公司也在做云端训练芯片。但相比，国内的训练芯片还是稍微性能差一些。

而推理芯片也有很多放在云端中，很多服务器也都会配置推理用的PCIE 插卡，但是还有大量的推理芯片用在边缘侧。所以两者的部署位置是不一样的。

性能要求不同

训练需要短时间内并行算力非常全，算力非常大，且要在短时间内能够做到交付，所以训练对于算力的量级、稳定性、性能，以及弹性扩缩容的能力有比较高的要求。而模型推理就没有这么大的算力要求，并且对精准度也要求不高。在进行大模型推理的时候其实int8甚至更低的精度就可以了。

计算量要求不同

训练需要高密集的计算，通过神经网络算出结果后，如果发现错误或未达到预期，这时这个错误会通过网络层反向传播回来，该网络需要尝试做出新的推测，在每一次尝试中，它都要调整大量的参数，还必须兼顾其它属性。再次做出推测后再次校验，通过一次又一次循环往返，直到其得到“最优”的权重配置，达成预期的正确答案，所以训练是一个消耗巨量算力的怪兽。

推理是利用训练好的模型，使用新数据推理出各种结论，它是借助神经网络模型并行运算，利用输入的新数据“一次性”获得正确结论的过程，他不需要和训练一样需要循环往复的调整参数，因此对算力的需求也会低很多。存储要求不一样训练的时候反向调整会应用到前馈网络计算的中间结果，所以需要很大的显存，训练的芯片存储的设计和使用的方案是复杂的。