Briwisdom的博客

引言芯片中数据的访存性能不仅和AXI总线带宽有关，还与软件系统的内存管理机制有关，比如MMU的TLB组件，本文主要梳理一下虚拟内存管理和MMU的TLB相关基础概念。虚拟内存是操作系统管理内存的一种技术，它通过硬件（MMU）和操作系统（OS）的协作，为每个进程提供一个“看似独立、连续且超大”的内存空间（如32位系统的4GB），而实际的物理内存可能远小于此。其核心思想是 “欺骗”程序，让它以为自己独占全部内存，而实际物理资源由操作系统动态分配。1）地址转换（虚拟→物理）

问题：假设一款芯片做升级设计时候，将AXI传输总线的理论带宽(bandwidth, BW)从32Byte/cycle升级到128Byte/cycle，当理论BW=32时候，实测带宽效率在90%以上， 那么理论BW=128时候的实测带宽效率是否也能达到90%?：若内存控制器或DDR接口带宽不足（如DDR4单通道理论带宽约25.6GB/s@3200MHz），AXI 128Byte/cycle的带宽（假设100MHz时钟下为12.8GB/s）可能无法被充分利用。通用CPU的Cache Line传输（通常64B）

背景：没有数字电路专业背景的人，从0到1简单看懂时序图。时序图由方波组成，如下图，向上凸起的表示高电平，下凸起的部分表示低电平。两者状态之间通过斜线控制，表示在状态切换。当全局使能信号ENA =0 (即DISABLED）时候，数据写出总线没有操作。图中虚线位置表示在全局开关使能条件下，一个时钟沿上升时候的系统状态。

本文将通过图解的方式，帮助快速区分并理解不同的通信原语所代表的含义。包括：broadcast, scatter, gather, all-gather, reduce, all-reduce, reduce-scatter, all-all

AI模型中不同的数据类型对硬件算力和内存的需求是不同的，为了提高模型在硬件平台的吞吐量，减少数据通信带宽需求，往往倾向于将高位宽数据运算转向较低位宽的数据运算。本文通过重新回顾计算机中整数和浮点数的定义，梳理AI模型出现的不同数据类型，进一步理解为什么会出现这些不同的数据类型。

主要内容：DDR寻址容量设计的概念理解示例。DDR的数据存储在不同的bank上，你知道具体是如何通过数据总线和地址总线的配合，拿到所需的数据吗？通过下面这样一个简单的问题，我们来逐渐了解这个过程的实现。

背景：死磕内存的bank和rank概念的一天。网上的资料都差不多，还是有些地方没理通顺，有什么内存基础知识的书籍可以推荐吗？

后端优化与前端优化的区别• 前端优化：输入计算图，关注计算图整体拓扑结构，而不关心算子的具体实现。在 AI 编译器的前端优化，对算子节点进行融合、消除、化简等操作，使计算图的计算和存储开销最小。• 后端优化：关注算子节点的内部具体实现，针对具体实现使得性能达到最优。重点关心节点的输入，输出，内存循环方式和计算的逻辑。生成低级IR；后端优化；代码生成；​1）生成低级IR：不同 AI 编译器内部低级 IR 形式和定义不同，但是对于同一算子，算法的原理实质相同。

工作领域是AI芯片工具链相关，很多相关知识的概念都是跟着项目成长建立起来，但是比较整个技术体系在脑海中都不太系统，比如项目参与中涉及到了很多AI编译器开发相关内容，东西比较零碎，工作中也没有太多时间去做复盘与查漏补缺。但是最近比较闲，发现了一个宝藏级的B站博主，系统的讲了很多AI芯片领域的知识，并把课程资源开源维护。在这里当个搬运工，传播一下。 AI系统框架图及AI编译器前端的位置示意如下： AI编译器的前端优化可以总结为神经网络相关的优化和代码/计算层面的优化两个方向

当AI芯片公司发布新产品时候，总是喜欢强调自己家芯片能提供的峰值算力是多少，实际上这只是一个客观的陈述，并不能作为具有高竞争力的说明，为什么呢？其实可以从如下两个方面来解释这个问题：资源与配套，杀鸡与宰牛

基础概念PCI是Peripheral Component Interconnect(外设部件互连标准)的缩写，它是目前个人电脑中使用最为广泛的接口，几乎所有的主板产品上都带有这种插槽。PCI插槽也是主板带有最多数量的插槽类型，在目前流行的台式机主板上，ATX结构的主板一般带有5～6个PCI插槽，而小一点的MATX主板也都带有2～3个PCI插槽，可见其应用的广泛性。PCI-Express(peripheral component interconnect express)是一种高速串行计算机扩展总线标

用python简单模拟实现加减乘除。

一，背景知识芯片的分类常见的芯片种类：CPU，GPU，ASIC，FPGA，（小众：类脑芯片（intel），量子芯片(谷歌）按照应用场景分类服务器端（云端）：注重芯片的算力，扩展能力，以及对现有基础设置的兼容性等移动端（终端）：注重芯片的低功耗，低延时，低成本AI芯片的评价标准性能（算力）：比如芯片做浮点或定点运算时候每秒的运算次数，以及芯片的峰值性能，平均性能等。灵活性：芯片对不同场景的适应程度，是否可应用于各种不同的AI算法和应用同构性：当大量部署AI芯片时候，能否可利

通过的电路图，简单理解数字电路中的触发器和锁存器

引言：借助于简单的例子，全面讲了CPU如何工作的，需要慢慢消化的一篇讲解。

内存带宽计算公式：带宽=内存核心频率×内存总线位数×倍增系数。 先容我从DDR的技术说起，DDR采用时钟脉冲上升、下降沿各传一次数据，1个时钟信号可以传输2倍于SDRAM的数据，所以又称为双倍速率SDRAM。它的倍增系数就是2。 DDR2仍然采用时钟脉冲上升、下降支各传一次数据的技术（不是传2次），但是一次预读4bit数据，是DDR一次预读2bit的2倍，因此，它的倍增系数是2X2=4。 DDR3作为DDR2的升级版，最重要的改变是一次预读8bit，是DDR2的2倍，DDR的...

int类型在计算机内存总以补码形式存储int在计算机中占4Byte, 共32位。最大正数是2**31 -1=2147483647， 最小负数为 -2**31=-2147483648。原码，反码，补码的基础概念对于一个32位操作系统来讲，一个int类型数字的存储是32个二进制数字表示的形式。原码：计算机中一种对数字的二进制定点表示方法。原码表示法在数值前面前面有一位符号位（即最高位为符号位），正数该位为0，负数该位为1（0有两种表示：+0和-0），其余位表示数值的大小。反码：正数的反.

向量数据库是指专门用来存储和管理向量数据的库。是现在流程的大模型应用中很好的辅助工具。传统数据库是只那些一个ID对应一个表单之类的文本数据，比如一个餐厅的菜单数据库，这类数据统称为结构化数据。文本、图像、音频、视频等非结构化的数据，这些是现在使用的最多的“大数据”。大模型就是学习的这些不规则，非结构化的大模型数据。大模型通过向量来认识这些数据。向量是一串数字，可以通过嵌入emmbedding的方式把各种非结构化的数据表达出来。

EDA全称是电子设计自动化，是一种工业软件，所有的芯片公司都在用各种各样的EDA软件，来辅助完成芯片的设计。 DEA软件有很明显的杠杆效应。EDA本身的市场规模其实并没有很大，只占119亿美元的市场份额但却直接撬动了4400亿美元的全球半导体产业，也就是如果EDA出现问题，那么整个芯片产业都会受到重大的冲击。光刻机是整个芯片产业的关键环节，但DEA软件虽然不为人所知，但重要性却不输光刻机的关键领域。 芯片的设计的主要流程可以分为前端和后端，前端负责芯片的逻辑电路设计，包括系统架构

CPU：中央处理器，代表人们对于通用算力的需求，比如智能手机，电脑，以及他们带来的互联网和移动互联网的兴起。GPU：图形处理器，代表人们对于高性能并行算力的需求。如：人工智能，大数据的应用CIPU：云基础设施处理器（阿里云）。对云计算的基础设施进行专门的处理和加速 云计算的应用，如手机点外卖，在线看视频和直播，手机购物等都背后都是靠云计算来支撑的。云计算和数据中心是未来几十年的大蓝海，它会是人工智能之后下一个技术爆发的大周期和大趋势。很多芯片巨头公司近年来都在布局该领域，如英特尔的IPU，英伟