VNNI 算的是 u8×i8：别把 INT8 矩阵直接塞进去

原创于 2026-10-30 13:18:05 发布 · 1.8k 阅读

3 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

收录于

Rust与底层性能

本文深入解析AVX-512 VNNI指令中u8×i8矩阵乘法的实现机制，重点阐述有符号INT8权重与无符号INT8激活混合运算时的数值映射关系；指出将i8直接 reinterpret 为u8会引入+128∑w偏差，需显式补偿；进一步说明非对称量化中零点（zero point）带来的额外修正项，以及累加器位宽（i32）对溢出边界的影响。强调硬件指令语义、打包布局与量化数学的一致性。

本文独立设计的赛博朋克概念封面

都叫INT8，两个输入也不一定同为i8。看VNNI内核前，我先查具体指令的乘数类型；把负数缓冲原样当无符号读取，会改变它代表的数。

Rust _mm512_dpbusd_epi32文档说明：a中相邻四个u8与b中对应i8相乘，再与i32累加器合并；接口要求AVX-512 VNNI目标特性，文档标记自Rust 1.89.0稳定。本机aarch64没有执行该指令。

u8与i8分开进入累加器，移位后的有符号点积需要补偿项

把 i8 变成 u8 后，多出来什么

若有符号输入x映射为u=x+128，则sum(uw)=sum(xw)+128sum(w)。因此需要减回128sum(w)。这里的+128是在更宽类型里算完再表示为u8，不是对i8做溢出加法，也不是简单按位重解释。

fn signed_dot(x:&[i8],w:&[i8])->i64{
    assert_eq!(x.len(),w.len());
    x.iter().zip(w).map(|(&a,&b)|i64::from(a)*i64::from(b)).sum()
}
fn shifted_dot(x:&[i8],w:&[i8])->i64{
    assert_eq!(x.len(),w.len());
    let raw:i64=x.iter().zip(w).map(|(&a,&b)|i64::from(i16::from(a)+128)*i64::from(b)).sum();
    let sum_w:i64=w.iter().map(|&v|i64::from(v)).sum();
    raw-128*sum_w
}
fn main(){
    let x=[-128,127,-1,0];let w=[1,-1,2,3];
    assert_eq!(signed_dot(&x,&w),-257);
    assert_eq!(shifted_dot(&x,&w),-257);
    for n in 0..=17{
        let x:Vec<i8>=(0..n).map(|i|((i*13)%256) as u8 as i8).collect();
        let w:Vec<i8>=(0..n).map(|i|((i*7)%256) as u8 as i8).collect();
        assert_eq!(signed_dot(&x,&w),shifted_dot(&x,&w));
    }
    println!("signed/unsigned compensation: boundary case + 18 lengths passed");
}

rustc 1.98.0执行通过，边界构造例为-257，0–17长度也保持代数等价。代码全部使用标量i64参考；它没有模拟每个i32 lane的溢出或VNNI硬件执行时序。