
人工智能-神经网络
文章平均质量分 55
edward_zcl
这个作者很懒,什么都没留下…
展开
-
经验干货:使用tf.py_func函数增加Tensorflow程序的灵活性
之前写过一篇关于tensorflow,但是对于tf.py_func这个函数的理解可能没有那么深,。转载 2022-10-21 21:12:40 · 325 阅读 · 0 评论 -
MFCC/HMM/GMM/EM/LM基本知识
语音的识别对于人类来说是很自然的一个过程,但要让机器“听懂”却十分困难。一段音频文件,机器怎么才能知道它代表的是什么意思呢?要做的事,就是组CP:根据音频文件来判断对应的文本。当然,要让机器真正的“听懂”和“理解”,还涉及到很多其他的知识,语音识别只是其中一个环节。那么机器接收到左边这段语音之后,是怎么把它一口口吞下去,最后吐出来一个“two”呢?下图中,我们以最经典的基于GMM-HMM的语音识别为例,可以看到,经过数据准备、特征提取、训练、再到解码,就可以获取最终的结果。转载 2022-09-14 22:44:33 · 429 阅读 · 0 评论 -
使用matplotlib.image.imread()和cv2.imread()读取png图像的差异
我分析了一波,会不会是使用matplotlib.image.imread()读取图片返回的时候它自动对图片进行归一化处理了?为了验证,我先使用cv2.imread()读取图片并且对其进行归一化处理,然后用matplotlib.image.imread()读取图片,判断二者是否相等。所以,说明matplotlib.image.imread()在读取图像的时候顺便归一化了。...转载 2022-09-01 17:08:40 · 2222 阅读 · 0 评论 -
二值神经网络(Binary Neural Network,BNN)
缺点:BNN在训练过程中仍然需要保存实数的参数,这是整个计算的瓶颈。BNN虽然需要保存实数的参数,但是实数范围是[-1,1],所以可以做压缩,即使用16bit或者更少的位数来表示浮点数。模型尺寸变小,正向传播计算速度变快,意味着可以将正向传播层放到客户端去做了,虽然随着网络带宽的增大,给服务器传个图片也么啥。将图像的特征学习和哈希码学习可以无缝整合到一起,因为都是二值化。暂时就这些!...转载 2022-08-15 01:02:11 · 4398 阅读 · 1 评论 -
SNN系列|脉冲响应模型SRM
神经科学的一些实验证据表明,视觉与听觉等许多生物神经系统都采用神经元发放的动作电位(即脉冲)的时间来编码信息。针对这些问题,更加符合生物神经系统实际情况的第三代人工神经网络模型--脉冲神经网络应运而生。脉冲神经网络使用时间编码的方式进行信息传递与处理,直接利用神经元的脉冲发放时间作为网络模型的输入与输出,从而实现信息的高效处理。 脉冲神经网络的拓扑结构分为前馈型脉冲神经网络,递归型脉冲神经网络和混合型脉冲神经网络,我们在这里只简要介绍前馈型脉冲神经网络,对于他的模型有大致的了解。神经元的样式这里不再介转载 2022-07-04 16:33:38 · 2224 阅读 · 0 评论 -
在当前conda env(conda环境)内修改Python的版本(升级或者降级)
创作开始时间:2021年4月8日22:17:53如题。场景: 我有一个conda env,叫做test,里面是python3.7版本。但是我在安装一个whl(python包)的时候,提示需要3.8版本。然而我不想新建一个conda env(因为原来的conda env已经安装了很多包了,新建很占空间,也麻烦)。所以就在这个env里面修改,需要在终端运行如下指令:升级python到3.8conda activate testconda install python=3.8python3 --version转载 2022-06-11 20:28:57 · 17223 阅读 · 7 评论 -
tensorflow中用saver保存模型
我们在用tensorflow训练模型时,可能需要训练很长很长一段时间,为了方便下次使用,应该将模型保存起来。在sklearn中,我们可以使用pickle模块进行模型保存;而在tensorflow中,我们可以使用它自带的Saver()类进行模型的保存。 (一)Saver类 Saver类是用于保存和恢复变量的。它有将变量保存到checkpoint和从checkpoint中恢复变量的操作。 Checkpoints...转载 2022-05-21 15:49:53 · 566 阅读 · 0 评论 -
librosa.feature.mfcc参数介绍
不得不说,这个librosa函数包真好用,已经包装的这么便捷了,但是如果想要修改一下参数,还是需要了解一下它的函数定义的。 VOICE_LEN=32000#获得N_FFT的长度print("sr:" , sr)N_FFT=getNearestLen(0.25,sr)print("N_FFT:" , N_FFT)#统一声音范围为前两秒y=normalizeVoiceLen(y,VOICE_LEN)print(.转载 2022-05-21 15:36:28 · 798 阅读 · 0 评论 -
python给函数传入不定个数的参数(带*号的参数)
python函数传中,可以使用不确定参数,相当灵活。Tensorflow模块:tf.train.Checkpoint就支持这一种功能,很神奇的dict:https://www.jianshu.com/p/5006be1c5f59 我们在读python 代码时,经常会看到例如: test_func(*param) 这样的函数,这代表什么意思呢? 我们写代码来加深对这个带*号参数的理解: 情况一: 看这段代码 #.转载 2022-05-21 15:30:31 · 2466 阅读 · 0 评论 -
tf.train.latest_checkpoint()自动寻找最新的checkpoint
tf.train.latest_checkpoint()函数的作用查找最新保存的checkpoint文件的文件名(Finds the filename of latest saved checkpoint file.)。tf.train.latest_checkpoint( checkpoint_dir, latest_filename=None)Args:checkpoint_dir: Directory where the variables were saved.;late转载 2022-05-21 15:21:31 · 2681 阅读 · 0 评论 -
智能语音识别应用及其tensorflow实现
关于语音识别,可以说是一个比较老的研究话题了,技术也在一直进步。关于语音识别的关键技术,可以参考我之前写一篇mfcc的博客,今天湖主要讲一下它的应用。https://blog.youkuaiyun.com/david_tym/article/details/123237233https://blog.youkuaiyun.com/shi_xin/article/details/118895503https://blog.youkuaiyun.com/weixin_34037173/article/details/85959683.转载 2022-05-18 17:56:21 · 1231 阅读 · 2 评论 -
音频处理库—librosa的安装与使用
其实tensorflow自带了一些音频处理工具,用于处理一些任务,诸如可谓是,或者asr(使用ctc算法),以及其他先进的比如transformer或者高级别的识别技术。主要原理貌似现在还得基于mfcc。 目录 序言 一、libsora安装 pypi conda source 二、librosa常用功能 核心音频处理函数 音频处理 频谱表示 幅度转换 时频转换 特征提取 绘图显示 .转载 2022-05-18 17:30:27 · 13484 阅读 · 0 评论 -
安装python库报错:Consider using the `--user` option or check the permissions.
输入:pip install django 报错:Consider using the --user option or check the permissions. 解决办法 :pip install --user django 更多参考https://blog.youkuaiyun.com/weixin_4...转载 2022-05-16 19:49:09 · 219 阅读 · 0 评论 -
Python编程---sys.path & sys.arg &os.path.join
1、源码 import osimport sysCUR_DIR=sys.path[0]PROGRAM_NAME=sys.argv[0]SOURCE_FILE_ABS_PATH=os.path.join(CUR_DIR, PROGRAM_NAME) if __name__ == "__main__": print("Welcome Python test program...") print("D...转载 2022-05-07 15:19:27 · 160 阅读 · 0 评论 -
简单利用conda安装tensorflow-gpu=2.2.0
网上安装tensorflow-gpu=2.2.0什么的一大推,而且最后还报错,一般问题出现在: 一、安装下载慢 二、cuda和cudnn版本不对 我最后实验了,很好解决上面的问题。 2021年1月26日更新,python版本最好是3.7,3.8版本安装有可能有问题,大概是conda没有完全匹配好。 2021年8月10号更新,上面的问题官方解决了,首先使用conda命令安装tensorflow-gpu=2.2.0,注意(...转载 2022-05-02 17:16:26 · 1082 阅读 · 0 评论 -
最全面解析 Ubuntu 16.04 安装nvidia驱动 以及各种错误
解析 Ubuntu 16.04 安装nvidia驱动 各种错误 0.环境1.安装方式说明 1.1ppa源安装1.2手动run文件安装 2.run文件安装详解 2.1手动下载驱动2.2卸载旧驱动2.3安装可能需要的依赖(可选,脸红可以跳过)2.4禁用noueau驱动2.5进入blos关闭secure boot (华硕还有fast boot)2....转载 2022-05-02 17:10:50 · 2780 阅读 · 0 评论 -
python中end=“ “的含义
python的版本在不断更新,有些使用方法也在不断改进。 一般出现在print()函数中,如print(a,end=" “)。 这是因为print默认是打印一行,结尾加换行。end=” "的意思是为末尾end传递一个空字符串。 如下: print(",")print(1)print(",") 结果显示: ,1, 加了end之后: print(end=",")print(end="1")print.转载 2022-05-02 15:53:55 · 9052 阅读 · 3 评论 -
异常解决(一)-- RuntimeError: expected device cpu but got device cuda:0
不同版本的软件,哟普不同的容错机制,但是有时候可以自己修改解决一些问题。 最近在编写深度学习的相关代码,基于PyTorch,运行程序的时候,报错,报错内容如下所示: RuntimeError: expected device cpu but got device cuda:0 归根结底,这个错误出现的主要原因是GPU类型的数据和CPU类型的数据不匹配。了解了错误的本质原因,那如何解决就非常简单了。 首先,需要分析大.转载 2022-05-01 12:00:25 · 1895 阅读 · 0 评论 -
torch.save()
保存为pt或者pth都可以,前提似乎都得先mkdir或者makedirs,不能直接save到一个即时指定的文件夹下。 pytorch保存模型等相关参数,利用torch.save(),以及读取保存之后的文件 本文分为两部分,第一部分讲如何保存模型参数,优化器参数等等,第二部分则讲如何读取。 假设网络为model = Net(), optimizer = optim.Adam(model.parameters(), lr=.转载 2022-04-30 22:50:11 · 5161 阅读 · 0 评论 -
liunx中如何使用export设置环境变量
1. 设置环境变量 export 变量名=值 2. 删除环境变量 unset 变量名 参考: liunx 中如何删除export设置的环境变量 - fuhaizi - 博客园 (cnblogs.com) 一个比较好的实践:https://blog.youkuaiyun.com/qq_40290810/article/details/124253840...转载 2022-04-30 16:47:04 · 120 阅读 · 0 评论 -
CV2的conda安装
conda安装cv2库 conda install opencv-python或者 pip install opencv-python(不过好像是这个比较有效) 更多参考https://blog.youkuaiyun.com/mathematican/article/details/119345013...转载 2022-04-30 16:44:46 · 5448 阅读 · 0 评论 -
解决CondaVerificationError: The package for pytorch located at...
千万不要在base环境下随便安装东西,否则可能导致其他环境永不了,就算更新了anaconda,恢复了环境,可能base小标志也没了,有一点小变化。anaconda虚拟环境的处理还是很复杂的,动了一些路径,更改了版本,随意更改了驱动或者底层库,甚至导致conda命令都用不了。 原因:之前安装包缓存未清理,导致安装包不能正常安装。 解决方法: conda clean --all< 参考: [1] Anacond.转载 2022-04-30 16:42:08 · 8822 阅读 · 2 评论 -
使用os.mkdir()创建目录报错:FileNotFoundError: No such file or directory
os.mkdir()报错解决:FileNotFoundError: No such file or directory import osimport loggingdir_checkpoint = 'checkpoint/train/20200313/'os.mkdir(dir_checkpoint)>>>FileNotFoundError: [Errno 2] No such file or...转载 2022-04-29 16:35:46 · 3330 阅读 · 0 评论 -
最全面解析 Ubuntu 16.04 安装nvidia驱动 以及各种错误
解析 Ubuntu 16.04 安装nvidia驱动 各种错误 0.环境1.安装方式说明 1.1ppa源安装1.2手动run文件安装 2.run文件安装详解 2.1手动下载驱动2.2卸载旧驱动2.3安装可能需要的依赖(可选,脸红可以跳过)2.4禁用noueau驱动2.5进入blos关闭secure boot (华硕还有fast boot)2....转载 2022-04-29 16:32:49 · 1407 阅读 · 0 评论 -
4种方法转义字符解决报错FileNotFoundError: [Errno 2] No such file or directory
多半是python版本的问题或者是你输入有问题,比如pytorch FileNotFoundError: [Errno 2] No such file or directory: ‘False’ 写在前面: 前面的案例不想看可以直接看结尾的4个结论。 直接看第4个结论,就是文章的最后。二八定律。【方法4通用性极强】 快速跳转至 通用性方法4 QQ:1981791622。 备注:我是优快云道友 源代码: with op.转载 2022-04-29 11:58:59 · 44995 阅读 · 18 评论 -
RuntimeError: Unable to find a valid cuDNN algorithm to run convolution
不得不说,算力太强,版本太新也是一种烦恼哈哈 在安装torch时,一定要注意显卡的cuda版本问题。 比如,在 RTX2080上 同样的环境中 程序可以正常运行,而换到A100中,就会报错如下: NVIDIA A100-PCIE-40GB with CUDA capability sm_80 is not compatible with the current PyTorch installation. T.转载 2022-04-29 11:52:46 · 17187 阅读 · 0 评论 -
RuntimeError: expected scalar type Double but found Float
自带的type还是不够好用,用数据类型自带的方法或者属性访问更加清晰,pytorch默认的数据类型是float,numpy默认是float64或者叫double,两者不能混合使用,matlab默认是double好像,除此之外,还要注意gpu上的tensor操作以及tensor的类型(变量还是常量),是否需要梯度等等,tensor之间的计算操作等。(pytorch17) [stu514-17@server5 ANN2SNN_tool_chain]$ python ann2snn.py example_net转载 2022-04-29 11:42:30 · 15106 阅读 · 1 评论 -
ModuleNotFoundError: No module named ‘yaml‘
运行 Python 文件遇到问题 ModuleNotFoundError: No module named 'yaml' 时,说明当前 Python 环境缺少该包,使用 pip 安装该包即可,但要注意的是安装的包名不是 yaml 而是 pyyaml,即 pip install pyyaml。 ———————————————— ...转载 2022-04-28 23:20:21 · 781 阅读 · 0 评论 -
python--argparse之action用法
argparse之action用法 action关键字默认状态有两种,store_true和store_false,若输入命令时,不指定其参数,则store_true显示为False,store_false显示为True。下面举个例子来直观感受一下. import argparseimport osfrom pathlib import Pathparse = argparse.ArgumentParse...转载 2022-04-28 21:51:16 · 625 阅读 · 0 评论 -
pytorch模型可视化:pytorchviz
这个包似乎是用来做可视化的,用于辅助pytorch,多用pip以及conda换着装,名字也可以换成pytorchviz或者torchviz,或者换源,卸载重装等,多试几次,观察规律。。 1. 安装依赖和pytorchviz pip install graphvizpip install torchviz (或pip install git+https://github.com/szagoruyko/pytor.转载 2022-04-28 21:48:28 · 1134 阅读 · 0 评论 -
pytorch加载模型错误 RuntimeError: Error(s) in loading state_dict for Model: Missing key(s) in state_dict
模型在保存时侯以键对值保存,同时在加载时根据现在网络的键值查找模型对应的键值,然后加载。一般报错是因为模型和网络的键值不匹配。 1、最常见的问题是键值多了或者少了 module. 此种情况是模型在DataParallel或者DDP训练后保存的键值有module. ,对应的网络的键值则没有module. 1)可以通过: model = nn.DataParallel(model) 将模型的键值...转载 2022-04-28 15:57:11 · 3569 阅读 · 1 评论 -
(已解决torchvision中CIFAR10下载速度慢)如何下载以及使用torchvision导入
背景 train_set = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transform) 速度超级慢,慢得直接报错: urllib.error.URLError: urlopen...转载 2022-04-27 12:37:03 · 2023 阅读 · 3 评论 -
tensorflow 出现 ... np_resource = np.dtype([(“resource“, np.ubyte, 1)]) 解决办法
/home/yuki/.local/lib/python3.6/site-packages/tensorflow/python/framework/dtypes.py:523: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be...转载 2022-04-22 19:52:07 · 1047 阅读 · 0 评论 -
SSH和Windows远程端口修改
ssh修改默认远程端口 ---------------------centos6----------------- 1.查看系统版本 cat /etc/redhot-releose 2.编辑sshd配置,修改默认的端口 vim /etc/ssh/sshd_config 找到port 22 添加一行修改为自己规定的端口 #port 22 port 1220 保存退出 3.重启sshd服务 /etc/in...转载 2022-04-21 19:06:50 · 5529 阅读 · 0 评论 -
安装Ubuntu系统
个人觉得,安装不同的操作系统,根据操作系统的用户友好性,可能在安装时候会有一些不同,但其实都是那么些东西,用不同的方式来呈现罢了,其次,如果之前安装过其他操作系统,分过区,再次安装会比较轻松,而且现在的电脑bios设计,以及操作系统发行版本越来越好用了,很多东西按照提示一步步安装即可。 一、参考资料 Windows和Ubuntu双系统安装教程 二、步骤 1. U盘启动,开机按ESC进入BIOS选择U盘启动转载 2022-04-06 21:21:35 · 6941 阅读 · 4 评论 -
窥探当今AI芯片中的类脑模型(转)
来源:脑人言 撰文丨邓 磊(加州大学-圣塔芭芭拉分校UCSB 博士后) 责编丨高茂森 Soma 排版丨夏獭 科学研究的动机,并非仅仅是出于能看到多酷炫的应用,而是因为我们尚有诸多未知世界需要探寻,这是一切应用的前提。 AI芯片如火如荼 AI芯片是当今人工智能热潮中不可或缺的一个名词,且受国际局势影响愈加受到重视。摩尔定律难以为继,通用处理...转载 2022-04-06 17:15:50 · 1074 阅读 · 0 评论 -
指令集结构与微体系结构
我们可以这样区分处理器的指令集结构与微体系结构:指令集结构描述的是每条机器代码指令的效果;而微体系结构描述的是处理器实际上是如何实现的。在处理器里,指令集结构提供了对实际处理器硬件的抽象。使用这个抽象,机器代码程序表现的好像它是运行在一个一次只执行一条指令的处理器上。 指令顾名思义就是用来引导某一硬件工作的方式的,集即集合的意思,也就是很多种不同引导指令的集合! 指令集是存储于CPU内部,用来引导CPU进行加减运算和.转载 2022-03-28 17:36:41 · 577 阅读 · 0 评论 -
ValueError: could not broadcast input array from shape (201,201,3) into shape (201,201)
不得不说,numpy数组的广播能力太强了,很多设定如果你不知道的话,有时候反而会造成一些错误,比如这里的np.array()函数。问题引出:https://blog.youkuaiyun.com/qq_36430012/article/details/114667153test_data = np.array(test_data)#错误语句,原因是test_data中的图片维度不同,2维和3维混杂#我的解决方法是在读取原图的语句后面添加 mode=“RGB”#一般用opencv读取的图片都是mode="RG.转载 2022-03-28 15:28:57 · 2986 阅读 · 0 评论 -
Numpy 中的 ravel() 和 flatten()函数
Numpy 中的 ravel() 和 flatten()两个函数可以对多维数据进行扁平化操作。 flatten()返回的是一个数组的的副本,新的对象;ravel() 返回的是一个数组的非副本视图。示例:numbers = [i* 10 + j for i in range(1, 5) for j in range(1, 5)]arr = np.array(numbers).reshape(4, 4)arr1、flatten()a1 = arr.flatten()a1flatte.转载 2022-03-26 17:52:33 · 1538 阅读 · 0 评论 -
3D点云系列(一)点云介绍
点云数据简介 点云数据(point cloud data)是指在一个三维坐标系统中的一组向量的集合。扫描资料以点的形式记录,每一个点包含有三维坐标,有些可能含有颜色信息(RGB)或反射强度信息(Intensity)。 我们常用的点云数据为激光雷达采集的数据,激光雷达的非接触式测量特点,具有测量速度快、精度高、识别准确等优点,成为移动机器人定位导航的核心传感器。在激光雷达技术领域中,目前主要通过三角测距法与TOF方法来进行测...转载 2022-03-22 11:03:01 · 7264 阅读 · 0 评论