W_Ria-优快云博客

原创优先队列

优先队列优先队列(priority queue)：可以在O(1)时间获得最大值，在O(log n)时间内取出或者插入最大值。常用堆(heap)来实现。1.实现实现队列和栈与实现优先队列的不同在于性能的要求。队列和栈实现在常数时间完成所有操作。使用基础结构来实现优先队列，在最坏情况下插入元素和删除最大元素需要用线性时间来完成。基于堆来实现优先队列可以保证两个操作在logN的时间完成。堆一个完全二叉树，每个节点的值总是大于等于子节点的值。通常使用一个数组来建立一个树。堆的两个核心操作是上

2021-04-21 17:56:19 394 1

转载 Python多进程解决方案multiprocessing ProcessPoolExecutor

大多数编程语言都会有多线程和多进程的概念，至于线程和进程的概念，大家可以百度一下。作为一门胶水语言，Python毫不意外，也可以利用多线程和多进程处理并发问题，但是多线程由于GIL的存在，起作用范围大打折扣，仅限于在IO等场景可以发挥点作用。所以，今天要跟大家分享的是Python多进程方案，更好地利用系统多核，从而提升性能。基础方案一：利用Process新建一个子进程，在子进程执行任务。我们写一个循环，模拟耗时任务的执行。主进程不会等待子进程执行完，就会继续往下执行。我们可以根据实.

2021-04-13 16:39:08 2937

原创 jupyter notebook&& jupyter lab

目录1.jupyter notebook2.jupyter lab1.jupyter notebookconda install jupyter notebookconda install nb_conda创建虚拟环境并进入，然后i继续：pip install ipykernel #预安装 ipykernel 包# 将tensorflow环境作为 kernel 初始化，并命名为. 这个环境添加到了ipython的kernel中python -m ipykernel.

2021-04-13 15:55:29 335

原创 2021-03-30项目实践记录

1.结合vagrant和VM虚拟机官网直接进行vagrant init太慢了翻墙后差不多一分钟，要么使用中科大镜像。vagrant init centos7 https://mirrors.ustc.edu.cn/centos-cloud/centos/7/vagrant/x86_64/images/CentOS-7.boxvagrant up2.vagrant创建连接虚拟机超时是因为忘了在BLOS界面打开CPU虚拟化...

2021-03-30 16:26:27 136

原创 2020-12-16 python调试笔记

1. dict相关'''for test to print the value...'''data={'1.wav':[[ 1.9010893 , 1.8951541 , 0.7492561 , 1.1373364 , 2.1521096 , 4.452796 ], [ 1.5981388 , 1.5932648 , 1.4989793 , 0.3432958 , 0.92565787, 2.1640224 ], [ 1....

2021-03-30 12:48:37 122

原创博客部署到coding.net等平台

Hexo是一个快速，简单和强大的博客框架。您使用Markdown（或其他语言）撰写帖子，Hexo会在几秒钟内生成具有漂亮主题的静态文件注册Coding添加SSH公钥连接然后复制添加到coding密钥之后开启一个服务，添加私钥并在命令行测试，首次建立链接会要求信任主机。部署项目到Codinghexo部署的时候，输错密码了，一直错误又不弹出框：到这里去修改放到gitee平台上，类似操作流程...

2021-03-29 13:00:21 166

原创 VAE 中后验坍塌问题

后验坍塌在贝叶斯模型世界（如VAE，pPCA），所担心的不是神经网络的“梯度消失”或“梯度爆炸”，而是“后验失效”(posterior collapse)现象。本质上，任何模型（传统或非传统）都要从每个新样本“汲取信息”，更新自身。当信息无法汲取并用来更新模型，就会出现上述问题。相对比较晦涩，简单来说就是 z的生成已经摆脱了前边encoder的影响，然后z直接输出一个或多个从大部分样本总结出来的几种模式。该模型最终只依赖于解码器的自回归特性，而忽略了潜在变量，这变得无信息。一般认为是因为解...

2021-03-26 22:04:07 8580

原创 KL散度-多元分布到一元情况 && 标准正态分布KL-VAEloss部分

KL散度KL散度：多元分布到一元对于各分量相互独立的多元分布： KL散度可以分解为边缘分布的KL散度之和：所以，我们把注意力集中在一维分布间KL散度的计算上。正态分布贝叶斯神经网络中，正态分布常用作变分分布和先验分布。KL散度为：详细推导-VAE中的例子两个多变量高斯分布之间的KL散度是变分自编码中损失函数推导的重要步骤结果的第一项： ...

2021-03-26 12:39:33 3495 1

原创 2021-03-12/15/18实验记录

1.importlib.import_module()动态导入对象，动态导入模块，导入当前包下的preprocessor_name（vctk.py）模块.Preprocessor2.functools.partial()https://www.cnblogs.com/wxys/p/13756552.html3.pool.imap是Python的进程池的一种调用方法多进程模式最大的优点就是稳定性高，因为每个进程独立拥有自己的调度资源，一个Worker的崩.

2021-03-18 16:10:53 204

转载 4 个节省大量时间的 Deep Learning 效率神器

问题链接：https://www.zhihu.com/question/384519338，本文来自知乎问答，回答已获作者授权，禁止二次转载。一、Finghttps://www.zhihu.com/question/384519338/answer/1160886439wandb，weights\&bias，最近发现的一个神库。深度学习实验结果保存与分析是最让我头疼的一件事情，每个实验要保存对应的log，training curve还有生成图片等等，光这些visualization就

2021-03-12 18:32:18 582

原创 cotatron 中构造的特征_笔记

1）预训练TTS系统，即tacotron2时，根据decoder hidden state 和encoder output，即根据目标隐状态-绿色的和每个源状态-蓝色实心的，“相比”，以生成注意力权重（attention weights）矩阵也称为对齐（alignments）根据注意力权重，可以计算上下文向量作为源状态的加权平均。2）可以使用不同的score函数：基于内容的注意力机制能够将不同的输出与相应的输入元素连接，而与其位置无关。在Tacotron2中使用基...

2021-03-12 17:50:45 212

原创 2021-03-10/11实验记录

1.TypeError: cat() got an unexpected keyword argument 'axis'提高pytorch的版本至1.2.0以上2.RuntimeError: Input type (torch.cuda.DoubleTensor) and weight type (torch.cuda.FloatTensor) should be the same1）CUDA和CPU，输入数据x和模型中的权重值类型不一样，一般来说是因为模型的参数不在GPU中，而

2021-03-12 17:20:53 193

原创 2021-03-08操作记录

1.OMP: Warning #190: Forking a process while a parallel region is active is potentially unsafe.可能问题：同时使用多个dataloader时，有时候会出现这个警告，同时cpu占用率飙升。解决方案：将DataLoader初始化参数中的pin_memory设为False，问题解决。参考链接原文链接：https://blog.youkuaiyun.com/zhjadsf/article/details/82983083

2021-03-10 09:26:58 2787

转载 BatchNorm, LayerNorm, InstanceNorm和GroupNorm

简介这一篇介绍四种Norm的方式. 之前我们介绍过BatchNorm的方法,Batch Normalization技术介绍. 这一篇会将BatchNorm, LayerNorm, InstanceNorm和GroupNorm这四种Normailzation的技术一起进行比较和说明.参考资料Pytorch Normalization Layers(官方文档使用说明): Normalization layers Pytorch Normalization中文介绍:ytorch常用normali..

2021-01-09 12:28:06 926

原创 2020-12-14音频笔记

1.scipy.io.wavfile.read()!!!This function cannot read wav files with 24-bit data.Common data types: [1] WAV format Min Max NumPy dtype 32-bit floating-point -1.0 +1.0 f...

2020-12-14 20:00:41 616 1

原创 GN，Interpolate, Sampler，DataLoader, DataSet(Pytorch)

1 GNFace book AI research（FAIR）吴育昕-何恺明联合推出重磅新作Group Normalization（GN），GN解决了BN式归一化对batch size依赖的影响。BN全名是Batch Normalization，见名知意，其是一种归一化方式，而且是以batch的维度做归一化，那么问题就来了，此归一化方式对batch是independent的，过小的batch size会导致其性能下降，一般来说每GPU上batch设为32最合适；但是对于一些其他深度学习任务bat

2020-11-22 18:59:36 296

转载 python 中if-else的多种简洁的写法

因写多了判断语句，看着短短的代码却占据来好几行，于是便搜下if-else简洁的写法，结果也是发现新大陆4种：第1种:__就是普通写法a, b, c = 1, 2, 3if a>b: c = aelse: c = b第二种：一行表达式,为真时放if前c = a if a>b else b第三种：二维列表，利用大小判断的0，1当作索引c= [b, a][a > b]第四种：传说中的黑客，利用逻辑运算符进行操作，都是最...

2020-11-16 18:59:15 948

原创 tf.slim以及其他

https://www.cnblogs.com/monologuesmw/p/12627697.htmlhttps://www.cnblogs.com/elitphil/p/12009990.htmlhttps://zhuanlan.zhihu.com/p/129254863

2020-11-08 16:44:09 148

原创神经网络可视化部分认识

1 基于ONNXOpen Neural Network Exchange（ONNX，开放神经网络交换）格式，是一个用于表示深度学习模型的标准，可使模型在不同框架之间进行转移。https://www.jianshu.com/p/65cfb475584aCaffe2，PyTorch，Microsoft Cognitive Toolkit，Apache MXNet等主流框架都对ONNX有着不同程度的支持。这就便于了我们的算法及模型在不同的框架之间的迁移。ONNX是一个开放式规范，由以下组件组成：

2020-11-05 21:15:54 242

原创 tensorflow部分认识

Tf就像是一个动作构成的树，就像太极拳一样，你必须从一个动作开始添加动作，并形成一套动作，这些动作的组合形成一个运算的步骤，这一点跟面对过程语言很像，不过它是实际上创建图并围绕图运作的。Tf就是一个计算模型，你根据数据（比如在平面上给出一些点的坐标）和推导建模（比如假设用n次幂的线分割），建模完成后选择优化方法（所有的优化方法都已经提供，只需要选择相应的优化函数），在建模的时候，为了TF可以对后续的计算进行优化，并行等目的，所有的op都要用tf提供的op（比如tf.sub而不是“-”）通常工作步骤：..

2020-11-04 20:21:52 139

原创音频文件基本处理流程

https://www.cnblogs.com/us-wjz/articles/11578280.html

2020-11-02 20:04:30 702

转载 tf.app.flags

tf 中定义了 tf.app.flags.FLAGS ，用于接受从终端传入的命令行参数，相当于对Python中的命令行参数模块optpars（参考：https://blog.youkuaiyun.com/dcrmg/article/details/79495760 ）做了一层封装。optpars中的参数类型是通过参数 “type=xxx” 定义的，tf中每个合法类型都有对应的 “DEFINE_xxx”函数。常用：tf.app.flags.DEFINE_string() ：定义一个用于接收 string 类型数值.

2020-11-02 19:01:23 580 1

原创 ubuntu18安装多版本Cuda以及相应cudnn

版本选择：https://tensorflow.google.cn/install/source1.机器中已经安装了cuda9.0以及相应的cudnn,并且配置了多个版本的gcc，并且目前使用的是gcc6以下（cuda9.0安装需要gcc6以下的，而原本系统中默认gcc7。）2.下载安装cuda10.0,不要配置环境变量（这样可以保证默认使用第一个版本的cuda），然后安装相应版本的cudnn。(可以cd /usr/local 发现有cuda cuda9.0 cuda10.0，安装cuda9.0的时

2020-09-08 21:12:06 573

转载 gcc多版本共存与切换

原文：https://blog.youkuaiyun.com/u011195662/article/details/81070837 在linux开发环境下，有时候会遇到安装配置不同依赖包，而需要用到不同版本gcc或g++的情况，笔者最近在进行海思平台的相关开发时就遇到过这种情况，需要同时在一个linux环境中安装多个版本的gcc和g++工具，并针对不同的编译需求进行版本的切换，因此把方法记录下来。1、下载安装欲新增版本的gcc工具sudo apt-get install gcc-4.8 g++-4.8..

2020-08-01 22:11:41 1621

原创 linux禁用nouveau安装nvidia驱动遇到的问题

1.禁用nouveau安装nvidia显卡驱动首先需要禁用nouveau，不然会碰到冲突的问题，导致无法安装nvidia显卡驱动。编辑文件blacklist.confsudo vim /etc/modprobe.d/blacklist.conf在文件最后部分插入以下两行内容blacklist nouveauoptions nouveau modeset=0更新系统sudo update-initramfs -u之后需要重新启动问题1：重新启动...

2020-06-22 21:03:54 35357 3

原创 ubuntu卡顿以及更新源的一些问题

电脑装了双系统后特别卡问题：Ubuntu默认安装核显，而不是独显电脑带有英伟达独显，所以需要安装英伟达的显卡驱动。详见：https://blog.youkuaiyun.com/tjuyanming/article/details/80862290还有可能的原因：swap分区给太小了理论上是运存的1-2倍，判断是否需要扩大swap容量。详见：https://blog.youkuaiyun.com/yc461515457/article/details/53610412更新源的时候发现默认使用的IPv6..

2020-06-22 16:03:04 605

chrome_elf.dll

空空如也