m0_58966968的博客

在人工智能飞速发展的今天，大模型的训练和推理对计算资源的需求日益增长。传统计算架构已逐渐难以满足其对速度和效率的极致追求。本次直播，我们将深入探讨如何利用存内计算技术，为大模型带来革命性的加速效果。

随着大数据和数据经济的不断发展，海量数据的收集、存储、分析都需要大量的人力物力，其对芯片算力的需求不断增长，而传统冯﹒诺依曼架构已无法支持当今大数据算力需求，因此新型存内计算架构作为一种解决方案被提出。数据经济是指以数据为核心资源，通过数据的收集、分析和应用，创造经济价值的一种经济形态。存内计算，将存储器和计算单元集成在一起，旨在使芯片计算单元兼具存储数据、处理数据的能力，计算单元可以通过极低的开销获取数据，理论上拥有无限的数据带宽，具有高计算能效、高带宽、低计算延时的特点，能够与数据经济的需求形成耦合。

LRES将注意力矩阵拆分为全局+局部稀疏的模式，其中全局类似的注意力权重向量会在CIM中存储更长时间，局部类似的权重向量则会更频繁地消耗和更新，以减少不必要的长时间重用距离，而并非像传统的Transformer那样依次生成Q、K、V的令牌，可以提高存算一体核的利用率；1）注意力稀疏管理器：用于存储初始的稀疏注意力模式，并根据运行时的令牌剪枝信息更新这一模式，在这一步骤中，管理器会识别产生广泛注意的Q和K向量，因为这些向量需要在CIM核心中存储更长的时间，以提高CIM的利用率；

此外，近些年的低比特量化技术为大模型在端侧的部署提供了更多可能性，清华提出的OneBit方法将大模型参数压缩到1比特大小[5]、微软在2024年2月提出将所有大模型量化为1.58[6]、自动化所提出的SpQR量化方案将大模型量化至3～4比特等[7]，都将大幅压缩大模型大小，优化模型在端侧部署的内存占用与计算资源调用，同时也使存算技术在端侧赋能大模型部署成为可能。通过调整三种颜色的强度，可以合成出几乎所有可见光谱的颜色，传统RGB相机能够捕捉全彩图像，提供丰富的色彩与细节，适用于广泛的视觉应用；

如图45所示，在传统的冯•诺依曼架构中，处理器和内存分离，数据在两者之间频繁传输，导致了显著的延迟和能耗。此外，如何我们想要了解更加详细的天气情况，如图13所示，可以使用界面中的Plugins，即使用插件，点击Plugins右边的“+”之后，即可进入添加插件界面，这里是插件商店所提供的插件，可以进行按需取用，比如我们需要一个天气插件，如图14所示，我们可以在搜索栏搜索“Weather”，得到结果之后点击下拉选项，再点击Add将插件添加到Bot中。在Coze上，我们可以免费使用ChtaGPT-4的所有功能。

大模型的内存访问在能量和吞吐量方面是一个关键的瓶颈，传统内存一次只访问一行，无法通过传统的数字加速方法来解决，这促使了存内计算的发展，存内计算一次可以访问多行，并直接输出结果。以下介绍基于 NOR Flash 存储器实现的存内计算推理，Nor Flash阵列实现模拟乘法的原理结合浮栅单元的存储特点，以实现 4 位（即网络正向传播时只存在精度为 4 位的计算）的卷积神经网络模型，采用基于动态阈值调整的量化方法。这样的调整可以根据网络的训练过程中动态变化的激活值来调整量化的参数，以适应不同的输入情况。

表1展示了两个合成序列建模任务的准确率结果，这些任务对于Transformer的替代模型，在这些更为微妙的自然语言处理（NLP）任务中，DataMUX 的准确率即使在大量训练努力下，当N=2时也下降到了20.04%和6.06%。基础模型（foundation models），如大型预训练语言模型或多模态模型，通常具有大量的参数和复杂的结构，它们在提供高精度和强大泛化能力的同时，也对计算资源提出了较高的要求。此外，通过使用固定的密钥和可训练的权重，模型可以在保持数据安全的同时，学习如何最有效地处理输入数据。

大语言模型的表现往往遵循扩展法则，但是对于某些能力，只有当语言模型规模达到某一程度才会显现，这些能力被称为“涌现能力”，代表性的涌现能力包括三点：其一是具备上下文学习能力，可以通过完成输入文本的词序列来生成测试实例的预期输出，而无需额外的训练或梯度更新；本篇文章集中讨论了存内计算技术在加速大语言模型推理方面的潜力，从大语言模型的背景知识出发，探讨目前其面临的挑战，进而剖析两篇经典的文献以彰显存内计算有望解决目前大语言模型在推理加速方面存在的问题，最后围绕大语言模型与存内计算的结合展开构想。

存内计算技术作为人工智能领域的一项创新，为神经网络的发展提供了全新的可能性。通过将计算操作嵌入存储单元，存内计算有效地解决了传统计算架构中数据搬运的瓶颈问题，提高了计算效率，降低了功耗。随着未来的不断探索和发展，存内计算有望在人工智能领域发挥更大的作用。然而，我们也需谨慎应对相关的挑战和伦理考量，确保这一技术的应用能够符合社会的期望和法规，推动人工智能技术的可持续发展。在这个不断演进的领域，存内计算将继续为人工智能的未来发展带来新的可能性。

随着人工智能技术的飞速发展，大模型已经成为了推动各行各业进步的关键力量。从自然语言处理到图像识别，再到复杂的数据分析，大模型以其卓越的性能和广泛的应用前景，正逐渐成为AI领域的焦点。然而，大模型的高效运行离不开强大的算力支持，而存算架构的优化则是提升算力的关键所在。本文将探讨现有大模型对算力的需求以及RRAM架构优化如何为大模型的算力提升提供动力，为开发者提供一些实用的指导。