<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[qq_44538746的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/qq_44538746</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; qq_44538746]]></copyright><item><title><![CDATA[语音降噪学习记录]]></title><link>https://blog.youkuaiyun.com/qq_44538746/article/details/136015655</link><guid>https://blog.youkuaiyun.com/qq_44538746/article/details/136015655</guid><author>qq_44538746</author><pubDate>Sat, 03 Feb 2024 21:55:40 +0800</pubDate><description><![CDATA[语音其实是人类采集的声音的幅度强度随着时间变化的一系列点。如下图为汉语元音韵母 “a”的声音波形图的一部分。声音即为空气分子不断的振动和传播。把声音想象成水龙头中流出的水流，用一个传感器以某种频率探入这股水流，每探测一次测量一次声音的振幅强度以及振动的方向，即可以得到一系列的随时间变化的点。这种频率就是采样频率。例如有一个语音，某个录音机器以 16000个点/秒的速度（采样率）去测试这个声音， 测了2s，我们则会得到 2 * 16000 = 32000个采样点。]]></description><category></category></item><item><title><![CDATA[LLM学习记录（lora、Qlora与量化）]]></title><link>https://blog.youkuaiyun.com/qq_44538746/article/details/135847236</link><guid>https://blog.youkuaiyun.com/qq_44538746/article/details/135847236</guid><author>qq_44538746</author><pubDate>Thu, 25 Jan 2024 16:54:49 +0800</pubDate><description><![CDATA[PTQ虽然简单，但是有个比较大的弊端是，对训练后的参数直接量化会削弱模型性能，于是有学者提出了QAT的方法，这个方法宗旨是让模型更适应后量化，主要操作是在模型训练阶段，前向推理使用低精度的模型参数，计算得到损失之后，反量化至高精度如FP16，根据这一损失优化fp16的原参数，原参数优化后再量化为低精度，参与下一轮参数更新（大致过程应该是这样，有错误的欢迎指出）。因为硬件资源有限，本来在研究LLM量化的，后来发现这与lora和Qlora有点关系，刚好我对这两个技术知之甚浅，一并进行学习了。]]></description><category></category></item></channel></rss>