<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[LF_AI的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/LF_AI</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; LF_AI]]></copyright><item><title><![CDATA[QUIK：LLM上的一种4-bit推理方法]]></title><link>https://blog.youkuaiyun.com/LF_AI/article/details/144142069</link><guid>https://blog.youkuaiyun.com/LF_AI/article/details/144142069</guid><author>LF_AI</author><pubDate>Thu, 28 Nov 2024 20:18:54 +0800</pubDate><description><![CDATA[论文概述 论文提出了一种叫做 QUIK 的混合量化策略，QUIK 把大部分的激活和权重量化为 4-bit，通过校准数据集进行激活进行统计，把一些 outliers 激活和对应的权重用 FP16 表示。该机制的特点是计算高效，同时能保持很好的精度。通过 QUIK，端对端吞吐量能达到 FP16 的 3.4 倍。论文研究了 OPT 模型、LLaMA-2 模型和 Falcon 模型，在推理时，除了量化，...]]></description><category></category></item><item><title><![CDATA[＜span class=“js_title_inner“＞QLoRA ：高效微调已量化的LLM＜/span＞]]></title><link>https://blog.youkuaiyun.com/LF_AI/article/details/157683711</link><guid>https://blog.youkuaiyun.com/LF_AI/article/details/157683711</guid><author>LF_AI</author><pubDate>Sat, 14 Sep 2024 13:49:21 +0800</pubDate><description><![CDATA[近期研究发现，4-bit 的量化推理是可能的，但是相比 16-bit，会有一定的性能降低，这主要是由于精度降低后，量化误差增大带来的。LoRA 是一个减小内存需求的微调方法，它冻结整个模型的参数，通过往模型中加入额外的网络层，并只训练这些新增的网络层参数。QLoRA 是一个有效的对已量化 4-bit 模型进行微调而模型性能不降低的方法，例如通过 QLoRA 可以在一个 48GB 的 GPU 上对参数量为 65B 的 4-bit 量化模型进行微调，微调后模型的性能不比用16-bit进行微调的性能差。]]></description><category></category></item><item><title><![CDATA[QLoRA ：高效微调已量化的LLM]]></title><link>https://blog.youkuaiyun.com/LF_AI/article/details/142408533</link><guid>https://blog.youkuaiyun.com/LF_AI/article/details/142408533</guid><author>LF_AI</author><pubDate>Sat, 14 Sep 2024 13:49:21 +0800</pubDate><description><![CDATA[概述   微调 LLM 是一个能高效改善模型性能的方法，通过微调能使模型多一些人们期望的行为，少一些不期望的行为。然而微调 LLM 是非常昂贵的，例如微调一个常规 16-bit 65B 的LLaMA需要至少 780GB 的 GPU 显存。   QLoRA 是一个有效的对已量化 4-bit 模型进行微调而模型性能不降低的方法，例如通过 QLoRA 可以在一个 48GB 的 GPU 上对参...]]></description><category></category></item><item><title><![CDATA[招聘啦！寻找热爱AI的你！]]></title><link>https://blog.youkuaiyun.com/LF_AI/article/details/137263630</link><guid>https://blog.youkuaiyun.com/LF_AI/article/details/137263630</guid><author>LF_AI</author><pubDate>Mon, 01 Apr 2024 14:56:54 +0800</pubDate><description><![CDATA[]]></description><category></category></item><item><title><![CDATA[投机采样(Speculative Sampling)加速大模型推理]]></title><link>https://blog.youkuaiyun.com/LF_AI/article/details/135399289</link><guid>https://blog.youkuaiyun.com/LF_AI/article/details/135399289</guid><author>LF_AI</author><pubDate>Thu, 04 Jan 2024 16:15:33 +0800</pubDate><description><![CDATA[1. 引言随着全球对大模型持续的高度关注，国外的OpenAI、Google以及国内的百度、阿里等都在大模型领域中不断地探索前进。由于模型的参数量和计算量的不断增大，大模型的推理部署成本也“水涨船高”，对模型推理的优化成为研究热点。基于Transformer Decoder的大(语言)模型在进行推理时，不同于训练过程，推理时我们并不能知道下一个字是什么，只能进行串行的预测，将预测到的下一个词，连同之...]]></description><category></category></item><item><title><![CDATA[SmoothQuant+：可以用于大语言模型的 4-bit 量化算法]]></title><link>https://blog.youkuaiyun.com/LF_AI/article/details/135164112</link><guid>https://blog.youkuaiyun.com/LF_AI/article/details/135164112</guid><author>LF_AI</author><pubDate>Fri, 22 Dec 2023 19:05:14 +0800</pubDate><description><![CDATA[‍‍‍‍LLMs 在各种任务上展现出令人惊叹的能力，但是庞大的模型尺寸和对算力的巨大需求对模型的部署也提出了挑战。目前 4-bit 的 PTQ 权重量化在 LLMs 上已经取得了一些成绩，相对 FP16 内存占用减少近 75%，但是在精度上仍有较大的损失。我们在论文《SmoothQuant+：Smooth LLM Weight Quantization and Acceleration in 4-...]]></description><category></category></item><item><title><![CDATA[浅谈大模型生成测试用例]]></title><link>https://blog.youkuaiyun.com/LF_AI/article/details/135098515</link><guid>https://blog.youkuaiyun.com/LF_AI/article/details/135098515</guid><author>LF_AI</author><pubDate>Tue, 19 Dec 2023 19:24:16 +0800</pubDate><description><![CDATA[引言大语言模型(LLM)在自然语言处理中表现出了卓越的性能，包括问答、翻译、文本生成并且能够处理大规模数据集，并为通用人工智能开辟了新的可能性。在代码生成领域，LLM已被用于各种编码的相关任务，包括代码生成、代码评审以及单元测试等任务。本文以LLM生成单元测试用例为切入点，对LLM生成测试用例的有效性和方法进行了简要探讨。一、LLM生成测试用例的有效性1.1 大模型：提升软件测试效率的前沿创新软件...]]></description><category></category></item><item><title><![CDATA[图文多模态大模型综述]]></title><link>https://blog.youkuaiyun.com/LF_AI/article/details/134343877</link><guid>https://blog.youkuaiyun.com/LF_AI/article/details/134343877</guid><author>LF_AI</author><pubDate>Fri, 10 Nov 2023 17:45:01 +0800</pubDate><description><![CDATA[自去年底ChatGPT发布后，大模型技术呈井喷式发展态势，学术界和工业界几乎每天都在刷新各个方向的SOTA榜单。随着大模型技术的发展，人们逐渐意识到多模态将是大模型发展的必经之路。其中，图文多模态大模型是一种结合了图像和文本两种模态信息的深度学习模型，本文将重点回顾这一领域的关键进展。纵观多模态大模型的技术演进，也完全遵循了预训练-微调的整体方案。根据预训练模型中图文模态的交互方式，主要分为以下两...]]></description><category></category></item><item><title><![CDATA[LLM推理优化综述]]></title><link>https://blog.youkuaiyun.com/LF_AI/article/details/133054474</link><guid>https://blog.youkuaiyun.com/LF_AI/article/details/133054474</guid><author>LF_AI</author><pubDate>Tue, 19 Sep 2023 18:29:50 +0800</pubDate><description><![CDATA[1 摘要自 OpenAI 发布 ChatGPT 以来，基于 Transformer 架构的大语言模型 (LLM) 在全球范围内引发了深度的技术关注，并取得了令人瞩目的成就。其强大的理解和生成能力，正在深刻改变我们对人工智能的认知和应用。然而大语言模型的推理应用成本过高，高昂的成本大大阻碍了技术落地。因此，大语言模型的推理性能优化成为业界研究的热点。大语言模型推理面临计算资源的巨大需求和计算效率的挑...]]></description><category></category></item><item><title><![CDATA[＜span class=“js_title_inner“＞vLLM 实战＜/span＞]]></title><link>https://blog.youkuaiyun.com/LF_AI/article/details/157647928</link><guid>https://blog.youkuaiyun.com/LF_AI/article/details/157647928</guid><author>LF_AI</author><pubDate>Mon, 28 Aug 2023 14:36:31 +0800</pubDate><description><![CDATA[引言随着人工智能技术的飞速发展，以及今年以来 ChatGPT 的爆火，大语言模型 (Large Language Model, LLM) 受到越来越多的关注。为了实现 LLM 部署时的推理优化，全球各地有众多团队做出了各种优化框架。本文以加州大学伯克利分校开发的 vLLM 框架为例，进行实战探索。1. 整体介绍根据中的实验结果， vLLM 吞吐量比 Hugging Face Transformers 高出 24 倍，比 TGI 高出 3.5 倍。vLLM 整体框架如所示。]]></description><category></category></item><item><title><![CDATA[vLLM 实战]]></title><link>https://blog.youkuaiyun.com/LF_AI/article/details/132551087</link><guid>https://blog.youkuaiyun.com/LF_AI/article/details/132551087</guid><author>LF_AI</author><pubDate>Mon, 28 Aug 2023 14:36:31 +0800</pubDate><description><![CDATA[引言随着人工智能技术的飞速发展，以及今年以来 ChatGPT 的爆火，大语言模型 (Large Language Model, LLM) 受到越来越多的关注。为了实现 LLM 部署时的推理优化，全球各地有众多团队做出了各种优化框架。本文以加州大学伯克利分校开发的 vLLM 框架为例，进行实战探索。1. 整体介绍根据公开文档中的实验结果， vLLM 吞吐量比 Hugging Face Transfo...]]></description><category></category></item><item><title><![CDATA[大语言模型微调实践——LoRA 微调细节]]></title><link>https://blog.youkuaiyun.com/LF_AI/article/details/132419546</link><guid>https://blog.youkuaiyun.com/LF_AI/article/details/132419546</guid><author>LF_AI</author><pubDate>Mon, 21 Aug 2023 12:06:08 +0800</pubDate><description><![CDATA[1. 引言近年来人工智能领域不断进步，大语言模型的崛起引领了自然语言处理的革命。这些参数量巨大的预训练模型，凭借其在大规模数据上学习到的丰富语言表示，为我们带来了前所未有的文本理解和生成能力。然而，要使这些通用模型在特定任务上发挥出色，还需借助微调技术。大语言模型的微调技术已经成为自然语言处理领域的一个焦点，其不断的演化和创新正引领着我们进入一个更加精细、个性化的文本处理时代。在本文中，我们将选取...]]></description><category></category></item><item><title><![CDATA[LSQ 的低比特量化之路]]></title><link>https://blog.youkuaiyun.com/LF_AI/article/details/131821093</link><guid>https://blog.youkuaiyun.com/LF_AI/article/details/131821093</guid><author>LF_AI</author><pubDate>Wed, 19 Jul 2023 18:42:22 +0800</pubDate><description><![CDATA[LSQ 是一种有效的低比特量化算法对于深度神经网络，模型的权重一般都用浮点数表示，如 32-bit 浮点数（float32）。推理的时候，如果也采用这种数值类型，会消耗较大的内存空间和计算资源。在不影响模型准确率的情况下，模型采用其他简单数值类型，能显著缩小对计算资源的需求和推理时延，这对于资源受限设备来说尤其重要。从量化的比特数来区分，常用的量化技术有 8-bit 量化（ INT8 量化）、4-...]]></description><category></category></item><item><title><![CDATA[大模型推理性能优化之KV Cache解读]]></title><link>https://blog.youkuaiyun.com/LF_AI/article/details/130838524</link><guid>https://blog.youkuaiyun.com/LF_AI/article/details/130838524</guid><author>LF_AI</author><pubDate>Tue, 23 May 2023 16:43:18 +0800</pubDate><description><![CDATA[0. 引言做大模型性能优化的一定对KV Cache不陌生，那么我们对这个技术了解到什么程度呢？请尝试回答如下问题：KV Cache节省了Self-Attention层中哪部分的计算？KV Cache对MLP层的计算量有影响吗？KV Cache对block间的数据传输量有影响吗？本文打算剖析该技术并给出上面问题的答案。1. KV Cache是啥大模型推理性能优化的一个常用技术是KV Cache，该技...]]></description><category></category></item><item><title><![CDATA[ESL设计概述]]></title><link>https://blog.youkuaiyun.com/LF_AI/article/details/130498252</link><guid>https://blog.youkuaiyun.com/LF_AI/article/details/130498252</guid><author>LF_AI</author><pubDate>Thu, 04 May 2023 14:47:33 +0800</pubDate><description><![CDATA[‍‍‍‍前言  随着芯片面临着应用场景丰富多变、集成功能模块越来越多、片内通信及模块间接口越来越复杂、设计规模越来越大以及PPA要求越来越高的需求，芯片设计方法面临越来越大的挑战。架构的合理性、完备性和一致性很大程度上决定了芯片设计的成败。基于同样的IP及工艺制程，不同架构实现相同功能所需的资源开销及性能差距很大。因此，芯片设计的第一环节——系统架构设计及其仿真优化，变得越来越重要，是后续一切硬件...]]></description><category></category></item><item><title><![CDATA[全局变量在LLVM编译器后端中的实现]]></title><link>https://blog.youkuaiyun.com/LF_AI/article/details/130397750</link><guid>https://blog.youkuaiyun.com/LF_AI/article/details/130397750</guid><author>LF_AI</author><pubDate>Wed, 26 Apr 2023 15:30:42 +0800</pubDate><description><![CDATA[和局部变量相比，全局变量是指在函数外部声明的变量，也叫外部变量。程序/模块中的函数均可以访问它，所以其作用域是全局的，通常存放在数据区。全局变量在LLVM IR中的表示如下：@global_variable = global i32 0该语句是定义一个i32类型的全局变量 @global_variable，并且将其初始化为0。在LLVM IR中，所有的全局变量的名称都需要用@开头。1. 全局变量的...]]></description><category></category></item><item><title><![CDATA[基于TVM的NLP-BERT模型编译及优化实践]]></title><link>https://blog.youkuaiyun.com/LF_AI/article/details/130299663</link><guid>https://blog.youkuaiyun.com/LF_AI/article/details/130299663</guid><author>LF_AI</author><pubDate>Fri, 21 Apr 2023 11:03:20 +0800</pubDate><description><![CDATA[0.引言TVM是一种从端到端的深度学习编译框架，用于优化深度学习模型在CPU、GPU、ARM等任意目标环境下的推理运行速度，相对于TensorFlow、MXNet、Caffe 和 PyTorch等深度学习框架有以下优点：更适合嵌入式场景；支持客户端-服务器的RPC调用；能通过优化提升模型的Inference性能；容易部署，支持多种语言：JS, Java, Python, C++语言；支持多种模型格...]]></description><category></category></item><item><title><![CDATA[LLVM编译器后端比较功能的添加]]></title><link>https://blog.youkuaiyun.com/LF_AI/article/details/130257050</link><guid>https://blog.youkuaiyun.com/LF_AI/article/details/130257050</guid><author>LF_AI</author><pubDate>Wed, 19 Apr 2023 17:15:12 +0800</pubDate><description><![CDATA[1.动机从机器层面上来看，控制流类的跳转指令分为无条件跳转和有条件跳转，无条件跳转 JMP，有条件跳转 JEQ、JNE、JLT、JGT、JLE、JGE，这部分指令是需要通过检查 condition code （SW 寄存器）来决定跳转条件；J 类型指令依赖的 condition code 是通过比较指令（比如 CMP）的结果来设置的。如下图所示，JNE跳转指令通过检查SW寄存器的状态以决定是否发生...]]></description><category></category></item><item><title><![CDATA[论文解读 | 解耦知识蒸馏]]></title><link>https://blog.youkuaiyun.com/LF_AI/article/details/130164745</link><guid>https://blog.youkuaiyun.com/LF_AI/article/details/130164745</guid><author>LF_AI</author><pubDate>Fri, 14 Apr 2023 14:39:34 +0800</pubDate><description><![CDATA[10 年来，DNN 的变革给计算机视觉领域带来了重大发展，促成了各种实时任务的繁荣，如图像分类、目标检测、语义分割等。然而强大的网络通常得益于大的网络容量，这通常以大量的计算和存储为代价，是工业应用所不喜欢的。在工业应用中，广泛采用的是轻量的模型。知识蒸馏是减小这种代价的一个有效方法，它可以把重型模型的知识迁移到轻型模型上，从而提高轻型模型的性能。知识蒸馏的概念最初是 Hinton 在论文 “Di...]]></description><category></category></item><item><title><![CDATA[Adlik 支持基于云燧i20的 AI推理服务部署，共建AI生态链]]></title><link>https://blog.youkuaiyun.com/LF_AI/article/details/129828550</link><guid>https://blog.youkuaiyun.com/LF_AI/article/details/129828550</guid><author>LF_AI</author><pubDate>Tue, 28 Mar 2023 18:21:44 +0800</pubDate><description><![CDATA[近日，中兴通讯开源的Adlik深度学习推理工具链新增对人工智能推理加速卡云燧i20的支持，可实现基于云燧i20的高效AI模型部署，提供高性能的云端推理服务。Adlik是由中兴通讯在Linux基金会人工智能&amp;数据基金会（LF AI &amp; Data）发起的开源项目，旨在提升深度学习、机器学习等模型在各种硬件平台下的推理效率，助力人工智能在云、边、端等多种场景快速落地。对异构硬件的推理支持...]]></description><category></category></item></channel></rss>