【论文阅读笔记】Deep Neural Network Compression with Single and Multiple Level Quantization

本文结合《Quantized Convolution Neural Networks for Mobile Devices》和《Incremental Network Quantization:Towards Lossless CNN with Low-Precision Weights》的思想,介绍了一种新型量化神经网络的方法。该方法包括Single-Level Quantization (SLQ) 和 Multi-Level Quantization (MLQ),通过k-means聚类、基于量化损失的参数划分、权值共享和重新训练等步骤,旨在减少量化过程中的精度损失,提高低精度权重下的网络性能。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

全文概括

  本文是《Quantized Convolution Neural Networks for Mobile Devices》和《Incremental Network Quantization:Towards Lossless CNN with Low-Precision Weights》的思想结合。参考了前者的分层量化k-means聚类共享权值,参考了后者的INQ思想,即同一层分块量化

  在此文中,分层就是depth level,分块就是width level

  SLQ(Single-Level network Quantization)利用参数的分布来改善 width level (与INQ比,就多了一个参数聚类&权值共享的过程,效果和INQ差不多)。在 depth level ,用增量层次量化的方法,来补偿前面层数的量化损失(作者的想法是:对于极端小的bit来说,比如2-bit,量化的损失会很大,可能每层都同时量化会不好恢复,作者就想分层量化。但是这种量化方法的后果是进一步加剧INQ本就需要recover的re-train难度,最后的结果并不比INQ好。作者并未与INQ对比,但是其展示在CIFAR-10数据集上的ResNet-20上,MLQ比基线低了1.68%1.68\%1.68%;但INQ的ResNet-18,不知道是不是在ImageNet上,比基线低了1.56%1.56\%1.56%。但对比INQ的好处在于用了权值共享,暂时不了解权值共享带来的计算优势。

在这里插入图片描述

量化步骤

  1. k-means聚类:将参数用k-means算法聚成k类簇
  2. weight partition:依据每个簇的量化loss,将簇分为两组(待量化组和re-train组)
  3. weight share:将待量化组的每个簇用中心点作为权值共享值
  4. re-train剩下的参数。
    在这里插入图片描述

Intorduction

  对于hight-bit,使用 single-level 量化方法对于极端小的bit,使用 multi-level 量化方法。

  SLQ和MLQ都由四个步骤组成:clustering,loss based partition,weight-sharing,re-training
  SLQ和MLQ的主要区别在于,在基于loss的划分权重阶段,对于SLQ只划分簇,而对于MLQ,划分簇和层,所以SLQ可以认为是一种特殊的MLQ。
  将参数用k-means算法聚成k类簇,然后依据每个簇的量化loss,将簇分为两组(待量化组和re-train组),将待量化组的每个簇用中心点作为权值共享值,re-train剩下的参数。
在这里插入图片描述


Single-level Quantization

Cluster

  参数聚类成簇,是该方法比INQ较好的一点,是 data-driven 的表现。这应该能更轻松控制量化损失,即恢复准确度更容易些。

Loss based Partition

  不同于INQ先量化更大值的参数(基于pruning的灵感),该方法使用基于量化损失的参数划分,量化损失大的簇先被量化(大概是觉得量化损失小的,比较容易用于恢复精度,即变化幅度小)。【量化损失应该是直接floating point 和 fixed point的差】

Weight-sharing

  将量化的参数,以簇为单位,簇以中心点共享权值。


Multi-Level Quantization

  不同于SLQ一下把每层的待量化层都量化了,MLQ逐层量化待量化层。
  MLQ的k-means聚类方法的k=3k=3k=3。将影响网络效果大的两个簇称为Boundaries,将影响最小的簇称为

在这里插入图片描述

在这里插入图片描述


Experiment Results

CIFAR-10数据集
在这里插入图片描述
  这结果显示,好像不如INQ在ImageNet数据集上,对ResNet-18的提升。

ImageNet数据集

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
MLQ
在这里插入图片描述

### HRTF算法原理及应用 #### HRTF的基本原理 HRTF(Head Related Transfer Function,头部相关传递函数)是一种用于模拟三维空间声音定位的数字信号处理技术。其核心思想是通过数学模型来描述声音从声源传播到双耳过程中所受到的物理影响,包括头部、耳廓、耳道等结构对声波的反射、折射和衍射效应。 在实际环境中,当一个声音到达人的耳朵时,由于人体结构的影响,不同方向的声音会具有不同的频谱特征。大脑利用这些特征以及时间差和强度差来判断声音的方向。HRTF通过测量或计算特定方向下的这些特征,并将其表示为一对滤波器(分别对应左右耳),从而使得经过HRTF处理的声音能够在立体声耳机上重现原始的空间位置感[^1]。 #### HRTF的数据获取 为了构建准确的HRTF数据集,通常需要进行精确的测量实验。实验中使用人工头模型或者真人受试者,在自由场条件下放置多个扬声器于不同的方位角和仰角,然后记录每个位置处由扬声器发出的测试信号经过人头与耳朵后的响应。随后,将采集到的数据转换成频率域的形式,形成对应的HRTF滤波器组。这种个性化定制的数据能够提供更加真实的听觉体验,但同时也增加了获取成本[^1]。 #### HRTF的应用领域 - **虚拟现实(VR)与增强现实(AR)**:在VR/AR系统中,HRTF被用来创建沉浸式的音频环境,让用户即使闭着眼睛也能感知到周围世界的存在及其变化。 - **游戏开发**:特别是在射击类游戏中,玩家可以通过脚步声、枪击声等音效快速识别敌人的具体方位,提高游戏的真实性和互动性[^2]。 - **远程会议系统**:借助HRTF技术可以实现更自然的多方通话体验,让参与者更容易分辨说话者的身份。 - **助听设备**:对于某些类型的助听器而言,采用适当的HRTF策略可以帮助佩戴者更好地理解来自各个方向的声音信息。 #### HRTF面临的挑战 尽管HRTF提供了强大的空间音频解决方案,但在实际应用过程中仍然存在一些难题: - 个性化问题:每个人的身体构造都有所差异,因此通用型HRTF可能无法达到最佳效果; - 计算复杂度高:实时应用时需要大量的运算资源来执行卷积操作; - 动态跟踪:如果用户头部移动,则必须相应调整应用的HRTF以保持正确的空间感知。 针对上述问题的研究正在不断推进之中,比如通过机器学习方法预测个性化的HRTF参数、优化算法减少计算负担等手段来改善用户体验。 ```python import numpy as np from scipy.signal import convolve def apply_hrtf(audio_signal, hrtf_left, hrtf_right): """ Apply HRTF filters to mono audio signal to create binaural output. :param audio_signal: Mono input signal (numpy array) :param hrtf_left: Left ear HRTF filter coefficients (numpy array) :param hrtf_right: Right ear HRTF filter coefficients (numpy array) :return: Binaural output (numpy array with shape [length, 2]) """ left_channel = convolve(audio_signal, hrtf_left, mode='full') right_channel = convolve(audio_signal, hrtf_right, mode='full') return np.column_stack((left_channel, right_channel)) ``` 该代码示例展示了如何将给定方向的HRTF应用于单声道音频信号以生成双声道输出。这里使用了`scipy.signal.convolve`函数来进行卷积运算,这是实现HRTF效果的关键步骤之一。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值