羲和-优快云博客

原创 ASR系列知识整理（一）音频知识

ASR 语音识别全流程硬性底线：所有训练、微调、测试、线上推理音频，必须统一为16000Hz 采样率、16bit 位深、单声道无损 WAV 格式，统一提取 80 维 Fbank 特征输入模型。

2026-05-16 11:12:02 392

原创 The Flan Collection: Designing Data and Methods for Effective Instruction Tuning结论

例如，一个原始的任务是给定一个问题x，评估模型是否能回答 y。4.增加训练数据各个维度的多样性，例如：改变指令的位置（在少提示之前或之后）、少提示和思维链提示之间的间隔和分隔符、多选题的答案选项（及其目标）的排列方式，有时还会在输入或示例中包含或排除答案选项。的零样本提示（zero-shot prompt）和少样本提示（few-shot prompt）来训练语言模型可以提高语言模型在不同任务上的泛化能力。6.指令调优模型（instruct模型）更适合作为新任务微调的起始模型。5.对于不同任务集合的。

2026-04-28 17:06:46 33

原创 whisper学习QA

Fbank 特征是一种模拟人耳听觉特性的语音频谱表示方法，通过 Mel 滤波器组从语音信号中提取出的能量特征。它被广泛用于现代语音识别系统中，作为神经网络（如 Transformer Encoder-Decoder）的输入特征。“词表”（vocabulary）在自然语言处理（NLP）和语音识别等任务中，是指模型所使用的一组基本语言单元的集合。字符子词单元（subword units），如 Byte Pair Encoding (BPE)、WordPiece、SentencePiece 等单词（word）

2025-12-15 10:35:57 1002

原创 Transformer模型详解（二），多头自注意力机制（Muti-HeadSelf Attention）

多头顾名思义就是同时通过多个自注意力机制进行特征提取，图不同深度的颜色就代表了多头，h表示了多头的数量，完成多头的计算后，再使用一个线性层，将多组自注意力机制的计算结果进行结合再输出。其中自注意力机制会分别使用QKV，三个线性层对输入数据进行特征变换，并使用scaled dot product attention的计算方法，将特征变化后的QKV进行结合。代入到QKV的计算公式中，计算注意力机制的输出，本质上对QKV3组信息进行选择和融合，得到一个最终的注意力结果。

2024-07-12 23:09:27 1352

原创 Transformer模型详解（一），Attention is all you need

Transformer与RNN与CNN是一样的，都可以理解为一种深度学习模型。

2024-07-12 22:41:48 883

原创（最新版）在conda虚拟环境中配置cuda+cudnn+pytorch深度学习环境

最近重新配置环境发现现有的教程太久远了，部分内容i经不适用了，所以在前人的及基础上进行了补充和改正。首先，确保已经安装好，安装过程很简单，傻瓜安装即可。如果你还不是很清楚CUDA，CUDATookit，cuDNN，Pytorch分别在深度学习环境中的定位与关系，推荐看一下这篇文章（）另外，如果你还不是特别理解虚拟环境的作用，建议看一下这位大佬的视频OK，开始正文，搞事开始。

2024-06-02 13:30:08 1281

原创 ResNET简介与个人理解

一、开发背景残差神经网络(ResNet)是由微软研究院的何恺明、张祥雨、任少卿、孙剑等人提出的，斩获2015年ImageNet竞赛中分类任务第一名，目标检测第一名。残差神经网络的主要贡献是发现了，并针对退化现象发明了，极大的消除了深度过大的神经网络训练困难问题。神经网络的“深度”首次突破了100层、最大的神经网络甚至超过了1000层。二、网络结构残差单元（残差块）ResNet团队分别构建了带有“直连边（Shortcut Connection）”的、以及。

2024-04-27 10:59:38 1673 1

qq_44558039的博客

原创读论文回答的问题