少游

原创 wenet 频谱增强的原理和代码实现

原理：该方法实在u2++中作为第二个创新点提出的，其作用是使模型见多识广，更加robust。主要思路是随机用之前的chunk来代替当前的chunk。论文位置：https://arxiv.org/pdf/2106.05642.pdf详见文章的3.2.3小结代码位置：https://github.com/wenet-e2e/wenet/blob/main/wenet/dataset/dataset_deprecated.py代码分析：————————————_spec_aug_me.

原创 动态batch和静态batch的原理和代码详解

在wenet中支持两种batch的方式，第一种是常规的batch方案，但该方案当语音长短差异过大时，显存利用率低，同时带来显存oom的风险；第二种是动态batch，不指定batch_size的大小，只限制了batch中的最大总帧数，这样就能够充分利用显存，同时不会有内存oom的风险。

原创 wenet mask原理解析

该程序主要对wenet使用的mask原理进行分析

原创 wenet动态chunk的设计逻辑

本文主要介绍wenet的动态chunk设计技巧

原创 wenet/utils/mask.py代码理解

本文主要是对wennet中wenet/utils/mask.py代码注解

原创 WIN10系统安装visio2016失败后修改系统设置，安全

首先下载visio2016，地址我忘记了，自己可以找一下其次下载破解包，在链接中最后一定要关闭电脑管家，并且还要把系统自带的windows defender给关闭了，具体方式如下：1 ：...

原创 latex中波浪号太宽问题，如何删除中间空白的方法

1 处为短的波浪号2 处为宽的波浪号由2的代码转到1的代码即可，效果如下：

原创 画频谱图+图中的y轴缩放，由1000改为1kHz

import waveimport numpy as npimport matplotlib.pyplot as pltimport matplotlib.patches as patchesfrom matplotlib.ticker import MultipleLocator, FormatStrFormatterfrom matplotlib.ticker import Func...

原创 Decoding-graph creation recipe (training time) （kaldi翻译+个人理解）

kaldi的图创建过程在训练阶段与测试阶段相比而言要相对简单一点，主要是因为不需要消歧符号，我们假定你已经读了这个recipe的test阶段，然而我没读，，，。在训练过程中我们采用和test阶段相同的HCLG形式，除了G是由一个符合训练transcript的linear acceptor(当然这个setup和容易扩展到transciptes中的不确定情况)Command-line prog...

原创 Decoding graph construction in Kaldi(kaldi翻译+个人理解)

kaldi英文链接：http://www.kaldi-asr.org/doc/graph.html本系列的文章是自己从kaldi中挑选按有助于理解整个流程的部分，不知道能坚持多久，It is never too late to learn.这是我刚到TEG办公室看到的，阴错阳差此刻又出现在我面前，或许是在提醒我不要忘记它。Overview of graph creation: 整个的...

原创 Feature extraction (kaldi 翻译+个人理解)

kaldi原文地址：http://www.kaldi-asr.org/doc/feat.htmlIntroduction:我们的特征抽取和读波形的代码旨在创建标准的MFCC和PLP特征，在程序中已经设置好合理的默认值并且还留下了可选择项使用户可以适度调整，比如mel bins的数目，频率截断值得最大值和最小值。这个代码值读包含pcm数据的wav文件。这些文件普遍都有wav和pcm的后缀（尽...

原创 计算mcd值

cat test_data/corpus.lst | xargs python bin/get_mcd_dtw test_data/ref-examples test_data/synth-examples

原创 cpp 学习记录

1 strcat的使用，注意使用cstring,而不是string,并且求字符数组的长度时sizeof(c).

原创 shell脚本获得指定文件夹下的文件名和绝对文件名

原创 动态规划时注意初始化dp的方式

采用dp1 = [[1 for _ in range(n)] for _ in range(m)]如果采用dp = [[0] * n] * m虽说形式上没什么不同，但是给给值得时候会出问题，所以要用第一个代码的形式

原创 编程常见的答题格式

第一种形式 啥都没有第二种也是最常见的：while True: S = input().split() s = '' for i in S: s += i #这里得到的s就是一个字符串，一次输入，处理一个。如果最后输入要求也是字符串的话，也要注意第三种：def ---------:_a_cnt = int...

转载 单调递增的数字 循环迭代

class Solution: def monotoneIncreasingDigits(self, N: int) -> int: s = str(N) l = len(s) res = 0 for i in range(len(s)): if i == 0 or s[i] >=...

原创 两地调配问题

关键是：costs = sorted(costs,key = lambda x:x[0] - x [1])其作用是将[[10,20],[30,200],[400,50],[30,20]]，变成[[30, 200], [10, 20], [30, 20], [400, 50]]，这样的话取前2个的第一个值和后两个的第二个值就可以了...

转载 检查单词中字母不合情况的重复，并删除

res = [] for e in s: if len(res) < 2: res.append(e) continue if len(res) >= 2: if e == res[-1] and e == res[-2]: conti...

原创 字节跳动的花园路径问题，偶数个圆上的点画不相交的直线有多少种画法

原创 python检查文件大小，可将文件换算成mb，kb或者b

import oswav_path = './1.wav'fsize = os.path.getsize(wav_path)f_kb = fsize/float(1024)print(f_kb)

原创 导入soundfile时提示 OSError: sndfile library not found

sudoapt-getinstall libsndfile1我第一遍安装libsndfile1，总是提示404ip无法访问，后来关机重启，就可以了。

原创 python处理xlsx方式

import xlsxwriterimport datetimeimport timeworkbook = xlsxwriter.Workbook('F://test_voice//test.xlsx')worksheet = workbook.add_worksheet()with open('F://test_voice//demo.txt','r',encoding='u...

原创 srilm的使用，参考别处，此为记录，方便日后查询

使用：由于计算机内存的限制，将处理的文件分为小文件和大文件两种：小文件：词频统计：ngram-count -text train.txt -order 3 -write train.count模型训练：ngram-count -read train.txt.count -order 3 -lm train.lm -interpolate -kndiscount-r...

原创 数据清洗步骤

1 去频次awk -F"\t" '{if($2>=500) print $1}' file > file_new2 clean_data.sh 需要修改待清洗文件 与生成文件3 给清洗后的文件加上class sed 's/^/CLASS-应用:&/g' test.file > new_file4 合成corpus generate_corpus.sh ...

原创 3-28处理数据是awk cat shell等方式记

awk -F"\t" '{if($2>=500) print $1}' file > file_new这里F后面指定切分方式在每行的头添加字符，比如"HEAD"，命令如下：sed 's/^/HEAD&/g' test.filecat file | sort -t $'\t' -k2 -n -r > newfile #以tab进行分割数据 ...

原创 jupyter notebook 无法打开虚拟环境

conda install nb_conda_kernels

原创 python画语音频谱图

import waveimport structfrom scipy import *import pyworld as pwfrom scipy.io import wavfileimport matplotlib.pyplot as pltimport numpy as npimport osimport soundfile as sf#读取wav文件root_wav...

原创 python如何打开bson文件

import bsonbson_file = open('test.bson','rb')bson_data = bson.loads(bson_file.read())

原创 配置环境出错，一路修改历记录程

运行命令，python mkbson-pua.py时，需要安装bson pandas MySQLdb(pip install MySQL-python),elasticsearch pycurl(pip无法安装[会出现版本适配问题，也就是pip安装时没有修改路径]，需要用conda进行安装)问题1：from loggly.log import Log 失败，原因是版本库的名称不一样，并且后...

原创 编译Cert

11 找到 该路径，copy setup.py ，然后修改文件，打开如下： 修改include_dirs 与library_dirs ,修改为当前需要安装的环境的路径，比如我这台电脑： 首先进入python import sys sys.path #查看python的lib的路径，如下图 /home/lili/anaconda3/e...

原创 linux 查找命令集合

可以使用grep命令来查找当前目录下所有文件中包含的某个特定字符。grep -rn "test"*r 表示递归查找 n 表示显示行号find 查找文件名find / -name file#查看文件夹下文件个数ls -lR | grep "^-"| wc -l...

原创 刷leetcode的一些经典算法的记录

283. Move Zeroes #这个算法nb了 zero = 0 # records the position of "0" for i in range(len(nums)): if nums[i] != 0: #如果该位置不是0 nums[i], nums[zero] = nums[...

原创 283. Move Zeroes leetcode python #这个算法数字很的碉堡了

class Solution: def moveZeroes(self, nums: List[int]) -&gt; None: """ Do not return anything, modify nums in-place instead. """ #这个算法nb了 zero = 0 # record...

原创 python 自定义包的导入失败

检查我自定义的包与程序都在合适的位置，但是死活就是无法导入，最后才知道问题出在哪里？每一个包目录下面都会有一个__init__.py的文件，这个文件是必须存在的，否则，Python就把这个目录当成普通目录(文件夹)，而不是一个包。__init__.py可以是空文件，也可以有Python代码，因为__init__.py本身就是一个模块，而它的模块名就是对应包的名字。调用包就是执行包下的__ini...

原创 python环境安装tlsh

https://github.com/trendmicro/tlsh上面的链接是官方的工具，trend micro的产品，在该链接介绍中有详细的安装介绍，不明白部分可以私我。

转载 keras的例子，参照可完整实现所有代码

https://blog.youkuaiyun.com/liuxiao214/article/details/79027109后面有时间再在这总结一下keras的特点以及如何去使用。-------------------------------------先把位置占着-------------哈哈Keras分为两种不同的建模方式，Sequential models：这种方法用于实现一些简...

原创 mnist的pytorch版本，简单的迭代可得到97%的概率

#本文从其他处copy过来，是为了留作参考，比如同样的分类问题，只需要修改几个关键位置，一是模型，二是损失，三是优化器import torchimport torch.nn as nnimport torchvision.datasets as dsetsimport torchvision.transforms as transformsfrom torch.autograd...

原创 在运行Loaded runtime CuDNN library: 7103 (compatibility version 7100) but source was compiled with 7003

个人分析：    我是安装在conda的py36环境下，由于升级了torch到0.4.0，就出现这个情况，所以坑定不是我的驱动或者cudnn cuda的问题，试图恢复torch的版本，也尝试了去重装tensorflow-gpu，但是没有解决，网上看了，才升级tensorflow-gpu 之前的版本是1.7.0 升级后为1.8.0 可以正常使用。...

原创 最长递增子序列（python）

一，    最长递增子序列问题的描述设L=&lt;a1,a2,…,an&gt;是n个不同的实数的序列，L的递增子序列是这样一个子序列Lin=&lt;aK1,ak2,…,akm&gt;，其中k1&lt;k2&lt;…&lt;km且aK1&lt;ak2&lt;…&lt;akm。求最大的m值。二，    第一种算法：转化为LCS问题求解设序列X=&lt;b1,b2,…,bn&gt;是对序列L...