Kaldi 脚本：split_data.sh

最新推荐文章于 2022-04-06 10:01:24 发布
原创 最新推荐文章于 2022-04-06 10:01:24 发布 · 462 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博客主要围绕kaldi脚本utils/split_data.sh展开，对其进行了注释说明，涉及信息技术领域中语音处理相关脚本的解读。
kaldi的prepare_data.sh模块解读
Drop_past的博客
08-28 1118
#!/bin/bash # # Copyright 2017 Johns Hopkins University (Author: Shinji Watanabe, Yenda Trmal) # Apache 2.0 # Begin configuration section. mictype=worn # worn, ref or others cleanup=true # End con...
Kaldi 测试报错：utils/split_scp.pl: Refusing to split data because number of speakers 2 is less than the
Robin_Pi的博客
08-12 1346
新建了一个文件夹robin存放两个人的音频数据（共2x10条wav音频）做测试，运行./test_cos.sh ~/kaldi/egs/sre16/v2/robin/sub_TIMIT_test 在最后报错：sid/compute_vad_decision.sh: moving data_test/vad.scp to data_test/.backup utils/split_scp.pl: Refusing to split data because number of speakers 2 is le
split_data.c_Split-data_
10-02
分开数据，就是分开数据，分割数据。把数据分隔开。数据分割
Kaldi 报错：** split_data.sh: warning, #lines is (utt2spk,feats.scp) is (502,500)； you can ** use uti
Robin_Pi的博客
11-13 384
问题：使用Kaldi提取音频特征时候发生报错 出现报错：** split_data.sh: warning, #lines is (utt2spk,feats.scp) is (502,500); you can ** use utils/fix_data_dir.sh data_test to fix this. 排除和解决 首先就是怀疑文件命名有问题 果然，在本地仔细排查，发现了两个命名有些“不合群”的音频问题； 可是修改之后依旧报错，再仔细检查还是没有其他发现； 后来发现在Linux服务器上查看文件
split data
csg3140100993的博客
01-13 1786
这样就可以只保存picture id这一列的数据
split_data.py
zhENGHAOSTU的博客
04-06 1045
split_data
SplitData:从一个文件中提取指定的数据行到一个或多个新文件中。-matlab开发
05-30
SplitData 函数根据 TRIAL_INFO 中提供的信息将 FILENAME 处的数据拆分为不同的文件。 原始文件不会以任何方式更改。 （使用 Util_GetFileInfo.m 函数是必需的，也可以在 MATLAB 的文件交换中找到。） 输入： > FILENAME - 源数据的位置。 需要一个文本文件（例如，'Data.txt'）。 > TRIAL_INFO - Nx2 矩阵，其中每一行包含要提取的 N 个试验的开始时间和长度（以秒为单位）。 0 秒的时间对应于样本编号 1。 > FS - 采样率 (Hz)。 输出： > 没有。 亚历克斯·安德鲁斯 (Alex Andrews) 于 2012 年撰写。 上次更新时间：2012年2月13日。 -------------------------------- FeatureFinder 是一款免费的 MATLAB 工具，
kaldi的prepare_dict.sh解读
Drop_past的博客
09-04 924
#!/bin/bash # Copyright (c) 2018, Johns Hopkins University (Jan "Yenda" Trmal<jtrmal@gmail.com>) # License: Apache 2.0 # Begin configuration section. # End configuration section . ./utils/pars...
kaldi单音素模型训练 - train_mono.sh脚本解读
dhj_tsukuba的博客
10-16 1526
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 上下文无关的单音素模型，或者monophone模型，是声学模型中最基础的模型。用HMM建模时每个状态对应一个上下文无关的单音素，大多数kaldi的训练脚本run.sh都是从monophone模型的训练开始，重复几次训练-对齐的过程，最后用HMM-GMM模型的对齐结果作为label去训练DNN模型。 本文着重讲解一下steps/train_mono.sh脚本，
Kaldi AMI数据集脚本学习4---train_mono.sh
sunfoot001的专栏
01-14 1024
1. 缺省配置 nj=4 并行个数 cmd=run.pl 处理程序 scale_opts="--transition-scale=1.0 --acoustic-scale=0.1 --self-loop-scale=0.1" num_iters=40 ** Number of iterations of training 训练循环次数 max_iter_inc=30 *
利用split_data.py划分数据集
weixin_48278908的博客
12-18 1530
python中的数据分割-（训练集、验证集、测试集）
chunxiao_的博客
09-15 3966
神经网络的训练通常要划分训练集、验证集、测试集。训练集用来对模型参数进行调整、验证集用来选出泛化较好的模型（参数），测试用来检验模型的泛化性能。因此训练集、验证集、测试集并不参与模型的训练。 神经网络的训练通常需要大量数据，当已有数据较少时，或者测试集中的数据不完整，可以将本用于训练模型的数据划出一部分用于模型的验证与测试，本文主要介绍对数据处理完成，即特征提取，标签添加，得到输入样本集的前提下，对这个样本集进行6：2：2的划分，分别作训练集、验证集、测试集。 ...
split函数 python
Lydia5945的专栏
11-17 3277
为了把文本的内容按角色输出，我们应该把每一行的文本分成两部分，一部分是角色（role），一部分是说话内容（line_spoken）。 由此引入了split（）函数，用来分割 data = open('sketch.txt') for each_line in data:     (role, line_spoken) = each_line.split(':')     print(ro
使用python划分训练数据集
博客首页
04-02 1万+
划分数据集 在实现机器学习的过程中，训练集是用来训练模型的，给模型输入和对应的输出，让模型学习它们之间的关系。 验证集是用来估计模型的训练水平，比如分类器的分类精确度，预测的误差等，我们可以根据验证集的表现来选择最好的模型。 划分数据集功能描述：将一个大数据集按比例划分为训练集和验证集（如下图) 代码： #split_data.py # 划分数据集flower_data，数据集划分到flower_datas中，训练验证比例为8：2 import os from shutil import copy imp
Kaldi学习之数据准备详细解释说明
热门推荐
llearner的博客
08-25 1万+
文章对Kaldi数据准备做更详细的解释，如有错误，还请指正。 数据基本源自Kaldi官网：http://www.kaldi-asr.org/doc/data_prep.html数据准备详细介绍 在run.sh中有数据准备各个阶段的脚本。 例子中的local/文件夹下是数据准备专用的一些东西。 比如RM下的脚本run.sh部分内容：local/rm_data_prep.sh /export/c
kaldi中文语音识别_基于thchs30(5)
dqxiaoxiao的博客
05-23 6861
接上回if [ -f $data/segments ]; then   #这里是查看data/mfcc/train下是否存在segments，如果存在则执行then后面的脚本，否则执行else后面的，这个文件不存在，所以之后调用else后面的处理  echo "$0 [info]: segments file exists: using that."  split_segments=""  for...
KALDI脚本文件解释
weixin_38858860的博客
11-18 2415
Kaldi脚本运行的说明：http://kaldi-asr.org/doc/tutorial_running.html 有一个例子是从RM数据集创建训练集和测试集（/export/corpora5/LDC/LDC93S3A/rm_comp是数据集路径）  local/rm_data_prep.sh需要自己编写，运行命令 local/rm_data_prep.sh /export/corpora...
Kaldi学习笔记（二）
KanShiMeKan的专栏
05-06 1万+
本文主要解读kaldi的thchs30/s5/run.sh脚本的主要流程，并给出了编写脚本过程中可能遇到的问题的解决方案。对于文中的差错，欢迎各位指正！
#拆分训练集和测试集 x_train, x_test, y_train, y_test = train_test_split 参数都是什么意思呢？
HWP
11-30 1万+
#拆分训练集和测试集 x_train,x_test,y_train,y_test=train_test_split( x,y,test_size=0.2,random_state=42) 完整模板： train_X,test_X,train_y,test_y = train_test_split(train_data,train_target,test_size=0.3,random_state=5) 参数解释： train_data：待划分样本数据 train_...
root@zzh-virtual-machine:/home/zzh/kaldi/tools# extras/check_dependencies.sh extras/check_dependencies.sh: python2.7 is not installed extras/check_dependencies.sh: python3 present rm: 无法删除'/home/zzh/kaldi/tools/python/python': 是一个目录 rm: 无法删除'/home/zzh/kaldi/tools/python/python3': 是一个目录 extras/check_dependencies.sh: Configuring python extras/check_dependencies.sh: ... If you really want to avoid this, add an empty file /home/zzh/kaldi/tools/python/.use_default_python and run this script again. extras/check_dependencies.sh: ... python3 found, making symlink (python3) extras/check_dependencies.sh: ... ... python2.7 not found, using python3 as python extras/check_dependencies.sh: Intel MKL does not seem to be installed. ... Run extras/install_mkl.sh to install it. Some distros (e.g., Ubuntu 20.04) provide ... a version of MKL via the package manager, but verify that it is up-to-date. ... You can also use other matrix algebra libraries. For information, see: ... http://kaldi-asr.org/doc/matrixwrap.html
最新发布
03-19
### Kaldi依赖检查脚本中Python版本和Intel MKL未安装问题的解决方案 #### 1. 解决Python2.7未安装的问题 Kaldi工具链可能仍然需要Python 2.7的支持，尽管现代开发环境更倾向于使用Python 3.x。如果`extras/check_dependencies.sh`报告缺少Python 2.7，则可以通过以下方法解决问题： 在基于Debian/Ubuntu的系统上，可以运行以下命令来安装Python 2.7及其相关包： ```bash sudo apt-get update sudo apt-get install python2.7 python-pip ``` 对于其他Linux发行版（如CentOS/RHEL），可以尝试通过系统的软件仓库安装Python 2.7[^1]。 完成安装后重新运行`extras/check_dependencies.sh`以验证是否解决了该问题。 --- #### 2. 安装Intel MKL或替代矩阵代数库 当`check_dependencies.sh`检测到Intel MKL缺失时，通常会建议运行`extras/install_mkl.sh`脚本来自动安装MKL。以下是具体操作步骤： - **自动安装Intel MKL** 运行以下命令以启动MKL安装过程： ```bash cd kaldi/tools/extras/ ./install_mkl.sh ``` 此脚本将下载并配置Intel MKL库。需要注意的是，某些操作系统可能会提供通过包管理器安装的MKL版本。例如，在Ubuntu 20.04及以上版本中，可以直接通过APT安装MKL，并确认其是最新的稳定版本[^2]。 - **手动指定路径或其他替代方案** 如果不希望使用Intel MKL，也可以选择其他兼容的矩阵运算库作为替代品。更多详情可参考官方文档中的说明页面： [http://kaldi-asr.org/doc/matrixwrap.html](http://kaldi-asr.org/doc/matrixwrap.html)[^3] 配置完成后再次运行`tools/extras/check_dependencies.sh`以确保所有依赖项均已满足。 --- #### 3. 总结注意事项 为了成功解决上述问题，请注意以下几点： - 确认已正确安装所需的Python版本以及pip工具。 - 使用推荐的方法安装Intel MKL或者替换为支持的第三方库。 - 执行完每一步之后都应调用`check_dependencies.sh`进行验证，直到不再显示任何错误消息为止。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值