kaldi 1d-CNN网络结构

最新推荐文章于 2025-06-10 07:44:54 发布
原创 最新推荐文章于 2025-06-10 07:44:54 发布 · 4.9k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#cnn

本文详细介绍了一个基于26维fbank特征的卷积神经网络（CNN）的构建过程，包括卷积层、池化层等组件的参数配置及计算原理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

生成nnet.proto

utils/nnet/make_cnn_proto.py

假设输入26维的fbank，feat_raw_dim=26，splice_num=8，delta_order=0：
num_filters1=128
num_filters2=256
pool_size=3
pool_step=3
pool_type=MAX
num_splice=8
patch_step1=1
patch_dim1=8
patch_dim2=4

可以得到输出：

<NnetProto>
<ConvolutionalComponent> <InputDim> 208 <OutputDim> 2432 <PatchDim> 8 <PatchStep> 1 <PatchStride> 26 <BiasMean> -1.000000 <BiasRange> 2.000000 <ParamStddev> 0.020000 <MaxNorm> 30.000000
<MaxPoolingComponent> <InputDim> 2432 <OutputDim> 768 <PoolSize> 3 <PoolStep> 3 <PoolStride> 128 
<Rescale> <InputDim> 768 <OutputDim> 768 <InitParam> 1.000000
<AddShift> <InputDim> 768 <OutputDim> 768 <InitParam> 0.000000
<Sigmoid> <InputDim> 768 <OutputDim> 768 
<ConvolutionalComponent> <InputDim> 768 <OutputDim> 768 <PatchDim> 4 <PatchStep> 1 <PatchStride> 6 <BiasMean> -2.000000 <BiasRange> 4.000000 <ParamStddev> 0.100000 <MaxNorm> 50.000000
<Rescale> <InputDim> 768 <OutputDim> 768 <InitParam> 1.000000
<AddShift> <InputDim> 768 <OutputDim> 768 <InitParam> 0.000000
<Sigmoid> <InputDim> 768 <OutputDim> 768

conv1

  • patch_stride2
    patch_stride2=feat_raw_dim
  • 一个滤波器参数：
    filter_dim1=num_splice * patch_dim_=8*8=64
  • 所有滤波器参数：
    param1=num_filters1*filter_dim1=8192
  • cnn1输入为：
    input1=splice_numfeat_raw_dim=826=208
  • cnn1滤波器输出
    num_patch1 = 1 + (feat_raw_dim - o.patch_dim1) / o.patch_step1=19
    output1=num_filters1num_patch1=12819=2432

相当于输入是826的图片，使用88的fiter只在频率维度上面进行step为1的移动，1个filter可以得到191的输出，128个filter可以得到12819的输出

maxpooling

  • pool个数
    num_pool = 1 + (num_patch1 - o.pool_size) / o.pool_step=1+(19-3)/3=6
  • pool_stride，conv1的filter的个数
    pool_stride=o.num_filters1=128
  • output
    o.num_filters1num_pool=1286=768

conv1每个滤波器的输出为19，在19这个维度上面，每3个数取一个最大值，得到6个数
128个滤波器就可以得到128*6的矩阵

conv2

  • 输入为maxpooling的输出
    input2=128*6
  • step和conv1一致
    patch_step2 = o.patch_step1=1
  • stride和pooling的num_pool一致
    patch_stride2 = num_pool=6
  • splice为filter1的个数
    num_splice2=input2/patch_stride2=128
  • patch
    num_patch2 = 1 + (num_pool - patch_dim2) / patch_step2=1+(6-4)/1=3
  • 一个滤波器参数
    filter_dim2=num_splice2 * patch_dim2_=128*4
  • 其他跟conv1的计算方法一样

相当于输入是1286的图片，使用1284的filter进行step为1的移动，得到31的输出，256个filter可以得到2563的输出

解析

conv

nnet/nnet-convolutional-component.h

num_splice = input_dim_ / patch_stride_=208/26=8
num_patches = 1 + (patch_stride_ - patch_dim_) / patch_step_=1+(26-8)/1=19
filter_dim = num_splice * patch_dim_=8*8=64
num_filters = output_dim_ / num_patches=2432/19=128

max pooling

nnet-max-pooling-component.h

num_patches = input_dim_ / pool_stride_
num_pools = 1 + (num_patches - pool_size_) / pool_step_

后面的技术分享转移到微信公众号上面更新了，【欢迎扫码关注交流】

在这里插入图片描述

自然语言处理之语音识别：Convolutional Neural Networks(CNN)与视觉信息的融合
zhubeibei168的博客
10-14 1088
语音识别技术，旨在将人类的语音转换为可被计算机理解的文本。然而，这些挑战也带来了机遇，推动了技术的创新和进步。例如，深度学习技术的引入，尤其是卷积神经网络（CNN）和循环神经网络（RNN），极大地提高了语音识别的准确性和鲁棒性。
kaldi学习笔记之卷积神经网络(CNN)
DuishengChen的专栏
11-28 1万+
kaldi学习笔记之卷积神经网络(CNN)摘要：本文将以switchboard为例，解读kaldi卷积神经网络部分的bash脚本。一方面便于以后自己回顾，另一方面希望能与大家互相交流。正文：在switchboard部分的训练代码中，kaldi官方并未提供相关训练的deamon，但kaldi本身支持卷积神经网络的训练，在egs/swbd/s5c/steps/nnet2中，kaldi提供了训练的CNN网
Kaldi架构解读
sailist的记录站
06-22 2590
该篇翻译自How to start with Kaldi and Speech Recognition Kaldi架构 Kaldi主要分为两个主要部分：分别是特征抽取、识别模型 特征抽取模块 大多数处理音频数据的模型都会需要对音频进行特征的抽取，用以达到以下两个目的： 识别人类语音的声音 丢弃任何不必要的噪音。 今天在行业，广泛使用MFCC： 关于MFCC的原理，可以参考这篇博客 关于MF...
一维卷积神经网络（1D-CNN）
热门推荐
搏博的专栏
11-19 2万+
三种不同结构的自定义的1D-CNN，分别是基于VGG结构的1D-CNN（VNet）、基于EfficienNet结构的1D-CNN（ENet）、基于ResNet结构的1D-CNN（RNet）。假设输入数据维度为8，卷积核filter维度为5，不加填充padding时，输出维度为4，如果filter的数量为16，那么输出数据的shape就是4*16;一维卷积神经网络的基本结构与二维卷积神经网络（2D CNN）类似，但主要区别在于卷积操作是在一维序列上进行的。这种方法在音乐创作和自动生成领域具有广泛的应用前景。
卷积神经网络中1D、2D和3D卷积的直观理解
qq_29715355的博客
06-10 359
步长：控制卷积核在输入数据上移动的步幅。在2D卷积中，步长向量为，通常和设为1；在3D卷积中，步长向量为，主要关注heightwidth和depth方向的步长。填充：用于解决卷积过程中维度缩减的问题。常见的填充类型有SAME和VALID。SAME填充可以使输出的尺寸与输入的尺寸相同，避免在构建深度卷积神经网络时出现维度过度缩减的问题。
CNN网络结构
weixin_43280332的博客
12-10 359
定义模型 model = Sequential() model.add(Convolution2D(input_shape=(150,150,3), filters=12, kernel_size=3, strides=1, padding=‘same’, activation = ‘relu’)) model.add(Convolution2D(filters=5, kernel_size=3,...
kaldi项目的结构
smith24122412的专栏
11-26 555
以前遇到的问题：  1 想使用新的方法或技术 2 希望别人使用你的想法或实现。 3 你发现HTK,CMUSphinx难用 4 HTK的许可不允许你发布你的改进。 kaldi项目 开源 apache许可 用OpenFst来构建解码图 用BLAS和 LAPACK 库来支持线性代码 KALDI的愿景 1 使用者和贡献者的分布式社区 对原始贡献者(如代码集成）是有控制的。使用者可以fork这个项目并完...
1D CNN
ov流岚vo的专栏
10-25 4482
1D-CNN 与 2D-CNN 的区别 构造 1D-CNN
PyTorch-Kaldi工具箱简介及核心代码注解
qq_26778411的博客
08-01 2852
pytoch-kaldi简介及核心代码详解。方便大家对该框架进行修改。
语音识别之PyTorch-Kaldi详细教程
07-02 1万+
本文介绍PyTorch-Kaldi。Kaldi是用C++和各种脚本来实现的，它不是一个通用的深度学习框架。如果要使用神经网络来梯度GMM的声学模型，就得自己用C++代码实现神经网络的训练与预测，这显然很难实现并且容易出错。我们更加习惯使用Tensorflow或者PyTorch来实现神经网络。因此PyTorch-Kaldi就应运而生了，它使得我们可以利用Kaldi高效的特征提取、HMM模型和基于WFST的解码器，同时使用我们熟悉的PyTorch来解决神经网络的训练和预测问题。阅读本文前需要理解HMM-DNN.
【语音编解码】常用的基于神经网络的
02-28
通过使用开源工具如 Kaldi 或 TensorFlow 来训练 CNN 模型，可以有效地提高语音特征提取的能力并增强系统的鲁棒性[^1]。 对于语音编解码而言，CNN 可以用来捕捉音频数据中的局部模式，并将其转换成更紧凑的形式以便...
一维CNN+LSTM结构.py
10-22
一维CNN+LSTM结构.py
split-learning-1d-cnn:论文的源代码“我们可以在1D CNN上使用拆分学习进行隐私保护培训吗？”-Source code learning
03-25
我们可以在1D CNN上使用拆分学习进行隐私保护培训吗？ 注意：此仓库包含我们对以下ACM ASIACCS 2020论文的实施。 如果您觉得有用，请使用以下引文引用我们的论文。 Sharif Abuadbba，Kyuyeon Kim，Minki Kim，Chandra Thapa，Seyit A.Camtepe，Yansong Gao，Hyoungshick Kim，Surya尼泊尔，“我们可以在1D CNN模型上使用拆分学习进行隐私保护培训吗？”，第15届ACM ASIA亚洲计算机会议和通讯安全（ACM ASIACCS 2020），台湾台北，2020年6月1日至6月5日 现在有空： 我们的一维CNN拆分学习模型及其准确性结果。 我们预处理过的MIT心律失常ECG数据库的训练/测试样本。 我们的隐私泄漏3测量结果是使用视觉可逆性得出的； 距离相关和动态时间扭曲。 我们提出了两个
Matlab：利用1D-CNN（一维卷积神经网络），分析高光谱曲线数据或时序数据
学术的尽头是分享，技术的尽头是开源
02-01 1万+
介绍关于1D-CNN的特点与应用，分享了不同结构的1DCNN，包含创建代买和训练代码。
基于FPGA的一维卷积神经网络算法实现（1D-CNN、BNN的FPGA加速实现）
weixin_44384867的博客
07-15 5422
本文介绍一种基于FPGA的1维卷积神经网络算法加速实现的方案，其中为了进一步提升运算速度，除了第一层卷积采用的是普通卷积运算（CONV），其余卷积层和池化层采用的是二值化运算，即二值化的卷积与池化。 运算过程包含了卷积层、池化层、批标准化层、全局池化、二值化卷积、全连接层、激活函数层，均采用RTL级代码实现，即全部采用Verilog HDL代码实现，兼容Intel Altera FPGA 与 AMD Xilinx FPGA，便于移植。
1D CNN based network intrusion detection with normalization on imbalanced data
abraham的博客
04-25 948
入侵检测系统( IDS )在计算机网络中起着保护计算资源和数据免受外部攻击的重要作用。最近的IDS面临挑战，提高IDS的灵活性和效率，以应对意想不到的和不可预测的攻击。深度神经网络( Deep Neural Network，DNN )作为一种机器学习技术，被普遍认为可以为复杂系统提取特征并进行学习。在本文中，我们提出了一种使用一维卷积神经网络( 1DCNN )开发高效灵活的IDS的深度学习方法。二维卷积神经网络方法在计算机视觉领域的图像目标检测中表现出了卓越的性能。同时，1D - CNN可用于时间序列数据的
【小白也可做】基于1DCNN的单特征输入的股票预测项目实战（pytorch）（单特征）——仅用于课程和编程学习，不作为任何金融推荐！！！！
weixin_44829487的博客
06-23 2462
若有朋友需要可运行的源码和数据集，可以guan注【科研小条】公众号，回复【股票预测1dcnn】，即可获得。
kaldi中深度学习的主要实现---------Karel's DNN training implementation
u010384318的专栏
04-24 5946
说明：本文是翻译kaldi主页里的Karel的深度学习模型的实现。
基于1DCNN(一维卷积神经网络）的目标识别
azhiyou的博客
08-08 8465
基于深度学习对故障种类的识别，也就是目标检测和识别的一种
kaldi sherpa-onnx 生成keyword.txt
最新发布
06-27
<think>我们正在讨论如何为KaldiSherpa-ONNX语音识别模型生成关键词文件（keyword.txt）。根据引用内容，Sherpa是一个基于下一代Kaldi和ONNXRuntime的开源项目，支持离线语音识别。关键词文件通常用于在语音识别中提升特定词汇的识别准确率。在Kaldi和Sherpa-ONNX中，关键词文件（keyword.txt）通常包含需要被识别的关键词列表，每行一个词。这个文件用于构建有限状态转换器（FST）来增强关键词的识别。步骤：1.创建一个文本文件，每行一个关键词。2.文件名通常为`keywords.txt`（注意：用户问题中写的是keyword.txt，但通常使用复数形式keywords.txt，不过具体名称取决于实际使用）。但是，仅仅提供关键词列表是不够的，我们还需要将其转换为模型可以使用的格式（通常是FST）。Sherpa-ONNX可能提供了工具来将关键词列表编译成所需的二进制格式。根据引用[2]中提到的sherpa-ncnn项目（虽然用户询问的是sherpa-onnx，但两者可能有相似之处），我们可能需要使用Sherpa提供的工具来生成关键词的FST。在Kaldi中，通常使用以下步骤生成关键词的FST：-创建一个词汇表文件（vocab），包含所有关键词。-使用fstmake命令生成FST。然而，在Sherpa-ONNX中，具体步骤可能有所不同。由于Sherpa-ONNX是较新的项目，我们需要参考其官方文档。根据Sherpa-ONNX的GitHub页面（https://github.com/k2-fsa/sherpa-onnx），我们可以找到相关工具。具体步骤（以Sherpa-ONNX为例）：1.创建一个关键词列表文件，例如`keywords.txt`，内容如下（每行一个关键词）：helloworldsherpa2.使用Sherpa-ONNX提供的工具`k2-fsa/onnx/bin/sherpa-onnx-keyword-spotter`（具体工具名称可能有所不同，请以实际为准）来生成关键词模型。但是，在Sherpa-ONNX中，关键词识别（KeywordSpotting）通常是在运行时加载关键词列表，而不是预先生成一个单独的文件。因此，我们可能需要直接提供关键词列表文件给识别程序。实际上，在Sherpa-ONNX的示例中，关键词识别是通过命令行参数直接指定关键词列表的。例如，在实时麦克风输入的示例中，我们可以这样运行：./bin/sherpa-onnx-keyword-spotter\--tokens=/path/to/tokens.txt\--encoder=/path/to/encoder.onnx\--decoder=/path/to/decoder.onnx\--joiner=/path/to/joiner.onnx\--keywords-file=keywords.txt\--num-threads=1其中，`--keywords-file`参数指定了关键词列表文件（每行一个词）。因此，生成关键词文件实际上就是创建一个文本文件，每行一个关键词。注意：关键词文件中的词必须在模型的词汇表中（即tokens.txt中）。如果关键词不在词汇表中，则无法识别。总结：1.创建一个文本文件，例如`keywords.txt`。2.每行写一个关键词。3.确保这些关键词在模型的词汇表（tokens.txt）中存在。4.在运行关键词识别程序时，通过`--keywords-file`参数指定这个文件。如果用户需要的是在构建语言模型时加入关键词（例如在解码图中加入关键词），那么可能需要更复杂的步骤（如构建一个包含关键词的FST）。但根据Sherpa-ONNX的示例，它支持直接通过关键词文件进行关键词识别，而无需重新编译整个模型。因此，对于Sherpa-ONNX，生成关键词文件非常简单：只需按格式创建文本文件即可。相关问题：1.如何确保关键词在模型的词汇表中？2.如果关键词不在词汇表中，有什么解决办法？3.如何测试关键词识别的效果？4.Sherpa-ONNX支持多少个关键词？5.关键词识别对识别准确率有什么影响？6.除了关键词文件，还需要其他配置吗？请注意：以上回答基于Sherpa-ONNX的一般使用方式，具体细节请参考其官方文档。</think>### 为 Kaldi Sherpa-ONNX 生成关键词文件 (keyword.txt) 在 Kaldi Sherpa-ONNX 中，`keyword.txt` 是用于**关键词唤醒**或**特定词识别**的配置文件，其生成步骤如下： #### 1. **创建关键词列表文件** 创建一个纯文本文件（如 `keywords.txt`），每行一个关键词： ``` 你好 打开灯光 停止 退出 ``` > ⚠️ 注意： > - 关键词需在语音模型的**词汇表范围内**（参考模型的 `tokens.txt`） > - 避免过长短语（建议 1-4 个词） > - 文件编码需为 **UTF-8 无 BOM** #### 2. **生成 keyword.txt 格式** Sherpa-ONNX 要求 `keyword.txt` 包含**关键词权重**（重要性系数），格式为： ``` 关键词1 权重值 关键词2 权重值 ``` 示例： ```txt 你好 1.5 打开灯光 2.0 停止 1.0 退出 1.0 ``` > 📌 权重说明： > - 默认权重 = 1.0 > - 更高权重（如 2.0）提升该词识别优先级 > - 权重范围建议 [0.5, 3.0] #### 3. **在 Sherpa-ONNX 中使用** 运行时通过参数加载关键词文件： ```bash ./sherpa-onnx \ --tokens=path/to/tokens.txt \ --encoder=path/to/encoder.onnx \ --decoder=path/to/decoder.onnx \ --joiner=path/to/joiner.onnx \ --keywords-file=path/to/keyword.txt \ # 加载关键词 --max-active-paths=4 \ # 并行解码路径数 ... ``` #### 4. **验证效果** - 测试命令（实时麦克风输入）： ```bash ./sherpa-onnx-microphone \ --keywords-file=keyword.txt \ --keywords-threshold=0.25 \ # 触发阈值（需调整） ... ``` - 调整参数： - `--keywords-threshold`：降低阈值（如 0.1）提高敏感度 - `--keywords-score`：控制误触发率 #### 注意事项 1. **模型兼容性**：仅适用于支持**关键词唤醒**的 Sherpa-ONNX 模型（需确认模型训练方式）[^1] 2. **权重优化**：通过测试集调整权重，平衡召回率与误触发率 3. **实时性要求**：嵌入式设备需简化关键词数量（建议 ≤20 个词） 4. **非关键词处理**：通用语音识别仍需完整语言模型 > 💡 提示：Sherpa-ONNX 的**流式识别架构**特别适合关键词唤醒场景[^1]，其 FST（有限状态转换器）会优先处理关键词路径。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值