KGback-优快云博客

原创【论文阅读】INT-FP-QSim: Mixed Precision and Formats For Large Language Models and Vision Transformers

开源模拟器可以评估模型量化后的性能，有些结论值得参考。

2024-12-03 01:22:56 904 1

原创【论文阅读】FIGNA: Integer Unit-based Accelerator Design for FP-INT GEMM Preserving Numerical Accuracy

文章对于LLM模型量化后的FP-INT计算，提出了FIGNA计算模型，将激活的FP数转换乘INT类型与同INT的权重进行计算，并保持了计算的数值精度，这样在无需重新训练或微调模型即可达到FP计算的推理精度。

2024-11-24 23:09:32 909 1

原创【论文解析】HAQ: Hardware-Aware Automated Quantization With Mixed Precision

DNN硬件加速器开始支持混合精度（1-8位）进一步提高计算效率，这对找到每一层的最佳位宽提出了一个巨大的挑战：它需要领域专家探索巨大的设计空间，在精度，延迟，能耗和模型大小之间权衡。当前有很多专用的神经网络专用加速器，但没有为这些加速器设计专用的神经网络优化方法。传统的量化算法忽视了不同的硬件架构，网络所有层都采用一种量化方式。

2024-11-22 09:51:35 940

原创【项目分析】llama.cpp工程

Llama.cpp是一个基于C++编写的高性能大模型推理框架，旨在提供快速、稳定且易于使用的计算工具，原本的目标是允许在MacBook上使用INT4量化的LLaMA模型，但现在Llama.cpp支持多种计算模式，包括向量计算、矩阵运算、图算法等，可广泛应用于机器学习、图像处理、数据分析等领域。

2024-11-06 20:04:57 2100

原创【论文解析】Ara2: Exploring Single- and Multi-Core Vector Processing with an Efficient RVV1.0... Processor

Ara向量部件设计论文阅读

2024-10-12 10:14:09 824

原创【论文解析】A Vector Processing Unit implementation for RISC-V Vector Extension:Functional Verification...

VPU中Ring部件的验证

2024-10-07 19:55:58 1109

原创【RISCV指令集手册】向量扩展v1.0

此前写过向量扩展0.9的阅读记录，三年已过，本以为不再参与RVV的相关开发，奈何造化弄人，旧业重操，真就世事难料呀。总的来说1.0版本相比0.9版本的扩充了较多内容，但大部分为指令功能的扩充，指令编码、向量的运行机制等几乎没有变化，也就是说0.9版本的工具链可以兼容1.0的共性的指令。本文主要针对1.0新的版本作阅读记录，与0.9相同功能将不再赘述，若有所区别将在下文中体现。

2024-10-05 17:22:05 1877

原创【项目记录】大模型基于llama.cpp在Qemu-riscv64向量扩展指令下的部署

大模型基于llama.cpp在Qemu-riscv64向量扩展指令架构的模拟器上部署

2024-10-03 23:12:55 1738

原创【论文解析】基于开源 Matrix 指令集扩展（矢量点积）的高性能 RISC-V 处理器“香山”（nanhu 版本）的 LLM 加速的研究

新增矢量点积扩展指令集的的“香山”处理器的 LLM 加速的研究

2024-09-24 21:40:01 785

原创 2024年AI芯片峰会——AI芯片架构创新专场

2024年AI芯片峰会——AI芯片架构创新专场

2024-09-07 12:18:05 322

原创【论文解析】ELSA: Hardware-Software Co-design for Efficient, Lightweight Self-Attention Mechanism in NN

ELSA: Hardware-Software Co-design for Efficient, Lightweight Self-Attention Mechanism in NN

2024-09-01 21:40:02 1025

原创【论文解析】基于脉动阵列的层融合注意力模型加速器结构

基于脉动阵列的层融合注意力模型加速器结构

2024-08-30 21:35:57 941

原创【论文解析】Sanger: A Co-Design Framework for Enabling Sparse Attention using Reconfigurable Architecture

Sanger: A Co-Design Framework for Enabling Sparse Attention using Reconfigurable Architecture

2024-08-29 21:00:29 1120

原创【论文解析】SpAtten: Efficient Sparse Attention Architecture with Cascade Token and Head Pruning

SpAtten: Efficient Sparse Attention Architecture with Cascade Token and Head Pruning

2024-08-28 21:55:36 1172

原创 Transformer推理硬件专用加速器

当前大模型的基础架构正在向 Transformer 结构收敛，Transformer架构自谷歌2017年提出后比较稳定，因此针对Transformer的计算设计专用的ASIC加速器很有必要。

2024-08-26 22:45:51 1591

原创 Qemu运行linux的GDB调测试

基于i386的Qemu模拟器启动linux的GDB调试

2024-08-24 23:03:23 413

原创【论文解析】Optimizing Attention by Exploiting Data Reuse on ARM Multi-core CPUs

Optimizing Attention by Exploiting Data Reuse on ARM Multi-core CPUs

2024-08-18 23:17:26 1287

原创【论文解析】A 28nm 27.5TOPS/W Approximate-Computing-Based Transformer Processor with Asymptotic Sparsity..

A 28nm 27.5TOPS/W Approximate-Computing-Based Transformer Processor with Asymptotic Sparsity Speculating and Out-of-Order Computing

2024-08-02 17:06:37 940

原创面向AI2.0的高能效电路与系统设计——汪玉

源自2024年CCF大模型论坛清华大学教授汪玉老师的报告。

2024-07-15 21:12:04 288

原创论文解析——Full Stack Optimization of Transformer Inference: a Survey

Full Stack Optimization of Transformer Inference: a Survey

2024-07-08 22:33:55 1156

原创【论文解析】FTRANS: Energy-Efficient Acceleration of Transformers using FPGA

FTRANS: Energy-Efficient Acceleration of Transformers using FPGA

2024-07-07 22:31:28 1498

原创【论文解析】Adaptable Butterfly Accelerator for Attention-based NNs via Hardware and Algorithm Co-design

Adaptable Butterfly Accelerator for Attention-based NNs via Hardware and Algorithm Co-design

2024-07-06 22:14:25 1082

原创【论文解析】A3: Accelerating Attention Mechanisms in Neural Networks with Approximation

A3: Accelerating Attention Mechanisms in Neural Networks with Approximation

2024-07-05 21:00:55 1204

原创【论文解析】Transformer 模型压缩算法研究及硬件加速器实现

Transformer 模型压缩算法研究及硬件加速器实现

2024-07-04 21:04:09 2226 2

原创 systemctlm-cosim-demo项目分析

Xilinx Systemctlm-cosim-demo的项目分析

2024-06-03 17:17:35 752

原创 libsystemctlm-soc项目分析

xilinx libsystemctlm-soc项目分析

2024-06-03 17:11:36 691

原创 SystemC学习使用记录

对于复杂的片上系统，在进行RTL编码前，需进行深入的系统级仿真，systemc就是一种系统级仿真编程语言

2024-05-14 18:15:45 1430

原创论文解析——Manticore: A 4096-core RISCV Chiplet Architecture for Ultra-efficient Floating-point Computing

Manticore：一个用于超高效浮点计算的4096个riscv核的chiplet架构

2024-04-01 15:47:36 1240

原创 Nvidia GPU系列产品分析

Nvidia的GPU发展了30多年，已经逐渐形成了消费级、专业级、AI加速等不同计算任务的GPU系列。纵观Nvidia的GPU发展历程，其不断迭代的GPU架构以及性能强劲的GPU互联技术成了Nvidia始终站在市场顶峰的决胜法宝。

2024-03-25 10:42:18 3841

原创 Ventana Veyron V系列处理器架构分析

Ventana Veyron V系列处理器技术分析

2024-03-18 21:01:05 1471

之前看《沙丘》电影，里面有一类角色叫门泰特，这类人大脑可以飞快地运算，在电影设定里是替换人工智能、机器运算的存在。男主保罗也是这类型的人，但他可能基因更强大，吸食了香料后，他的大脑运算能力更强，甚至可以预测未来。作为一个计算机硅农，对这个有趣的设定挺感兴趣的，我想根据自己的理解理一理门泰特能预测未来的合理性，进而小小地科普一下人工智能对我们的意义，也欢迎各位喜欢科幻电影或计算机领域的童鞋一起探讨。

2024-03-17 21:43:27 1199