Transformer模型
关注
分享
扫一扫
文章平均质量分 95
关于Transformer模型的学习记录、项目记录
KGback
一个ICer的搬砖生涯
展开
-
【论文阅读】INT-FP-QSim: Mixed Precision and Formats For Large Language Models and Vision Transformers
开源模拟器可以评估模型量化后的性能，有些结论值得参考。原创 2024-12-03 01:22:56 · 925 阅读 · 0 评论 -
【论文阅读】FIGNA: Integer Unit-based Accelerator Design for FP-INT GEMM Preserving Numerical Accuracy
文章对于LLM模型量化后的FP-INT计算，提出了FIGNA计算模型，将激活的FP数转换乘INT类型与同INT的权重进行计算，并保持了计算的数值精度，这样在无需重新训练或微调模型即可达到FP计算的推理精度。原创 2024-11-24 23:09:32 · 937 阅读 · 0 评论 -
基于Transformer架构的LLM学习记录
大语言模型的学习记录原创 2024-07-01 09:44:42 · 1772 阅读 · 0 评论 -
【项目记录】大模型基于llama.cpp在Qemu-riscv64向量扩展指令下的部署
大模型基于llama.cpp在Qemu-riscv64向量扩展指令架构的模拟器上部署原创 2024-10-03 23:12:55 · 1819 阅读 · 0 评论 -
【项目分析】llama.cpp工程
Llama.cpp是一个基于C++编写的高性能大模型推理框架，旨在提供快速、稳定且易于使用的计算工具，原本的目标是允许在MacBook上使用INT4量化的LLaMA模型，但现在Llama.cpp支持多种计算模式，包括向量计算、矩阵运算、图算法等，可广泛应用于机器学习、图像处理、数据分析等领域。原创 2024-11-06 20:04:57 · 2286 阅读 · 0 评论