
深度学习
文章平均质量分 77
一些杂项
赫凯
人生如逆旅,我亦是行人。
展开
-
tigramite教程(八)Tigramite 异方差偏相关加权最小二乘法教程
Tigramite 是一个用于时间序列分析的 Python 模块。它允许根据 PCMCI框架从离散或连续值的时间序列重构图形模型(条件独立图),并创建结果的高质量图形。PCMCI 在这里有所描述:J. Runge, P. Nowack, M. Kretschmer, S. Flaxman, D.对于 PCMCI 的进一步版本(例如,PCMCI+, LPCMCI 等),请参见相应的教程。本教程解释了如何应用偏相关条件独立性检验的加权最小二乘变体(ParCorrWLS)。原创 2024-04-21 17:42:39 · 1361 阅读 · 0 评论 -
tigramite教程(七)使用TIGRAMITE 进行条件独立性测试
这个表格概述了X⊥Y∣ZX⊥Y∣Z的测试及其相关的假设条件独立性检验假设条件ParCorr连续变量XYZX,Y,ZXYZ,具有线性依赖关系和高斯噪声;XYX,YXY必须是单变量连续变量XYZX,Y,ZXYZ,具有线性依赖关系,对不同边缘分布具有鲁棒性;XYX,YXY必须是单变量ParCorrWLS连续变量XYZX,Y,ZXYZ,具有线性依赖关系,可以处理异方差依赖关系;XYX,YXY必须是单变量连续变量XYZX,Y,Z。原创 2024-04-04 17:58:46 · 1455 阅读 · 0 评论 -
tigramite教程(六)使用TIGRAMITE 进行因果发现
TIGRAMITE 是一个时间序列数据分析的python包,它基于PCMCI框架,可以从离散或连续值的时间序列中重建图形模型(条件独立性图),并创建高质量的结果图。本教程通过演示示例来解释主要功能。最后,以下的《原创 2024-03-13 18:33:07 · 2981 阅读 · 6 评论 -
tigramite教程(五)使用TIGRAMITE 进行自助聚合和链接置信度量化
TIGRAMITE是一个用于时间序列分析的Python模块。它基于PCMCI框架,允许从离散或连续值时间序列中重建因果图模型,并创建结果的高质量图表。本教程解释了时间序列因果发现的自助聚合(Bagging),该方法在函数中实现。自助聚合是一种通用的元算法,可与TIGRAMITE的大多数因果发现方法结合使用,例如run_pcmcirun_lpcmci等,包括整个条件独立性检验范围。您可以参考以下预印本获取更多信息。原创 2024-03-13 16:36:57 · 1328 阅读 · 0 评论 -
tigramite教程(四)TIGRAMITE的假设
TIGRAMITE 是一个针对时间序列的python 包,它可以从时间序列数据之间高效地发现关系。PCMCI 的 论文在这,之后的进阶版本,也会推出,这个教程解释因果假设,逐步给出了一个例子。原创 2024-03-13 14:56:39 · 1471 阅读 · 0 评论 -
tigramite教程(三)气候案例研究
此文件夹中的两个案例研究来自气候科学和生物地球科学,遵循以下综述论文中的QAD-问卷和方法选择流程图(包含在tigramite github教程文件夹中):综述论文的末尾列出了一些解决选定QAD问题的方法和软件。此案例研究以沃克环流为例,其中因果物理机制在所谓的气候遥相关方面有相当好的理解。请参阅论文中的更详细讨论。重点是沃克环流的赤道西部-中央太平洋分支。原创 2024-02-27 11:30:16 · 1300 阅读 · 2 评论 -
tigramite教程(二)生物地球科学案例研究
这个文件夹中的两个案例研究来自气候科学和生物地球科学,遵循以下审查论文中的 QAD-问卷和方法选择流程图(包含在 tigramite github 教程文件夹中):该审查论文的末尾列出了一些用于解决选定 QAD 问题的软件和方法。这个例子将演示使用基于因果推断的技术来调查空气温度(Tair)对生态系统呼吸(Reco)的因果效应,数据还包括总初级生产力(GPP)和短波辐射(Rg)。原创 2024-02-26 17:36:17 · 1358 阅读 · 0 评论 -
tigramite教程(一)解释与假定或发现的因果模型相关的关联
在因果发现中的一个常见任务是证明和验证为什么一个假设或重建的因果网络是合理的。在这里,我们展示如何利用估计的图来构建一个模型,解释数据集的滞后相关结构。具体步骤如下:1、估计(马尔可夫等价类的)因果图2、如果马尔可夫等价类有多个成员(存在未定向的边),选择类的一个成员,这可以自动完成3、对从图中提取的因果父节点进行线性结构因果模型拟合4、估计残差的噪声协方差矩阵5、利用这种噪声结构构建线性高斯结构因果模型,并使用与数据相同的样本大小生成许多实现。原创 2024-02-26 15:44:59 · 1490 阅读 · 0 评论 -
Vicuna-13B量化模型单GPU可跑
链接在这(需要科学上网)有人在B站转了人家的视频下面就是部署的步骤,其中有一步需要科学上网。原创 2023-04-26 00:13:19 · 4379 阅读 · 7 评论 -
深度学习网络调优
最近github新出来的调优方法指导,感觉蛮厉害。原创 2023-02-03 11:28:42 · 365 阅读 · 0 评论 -
Tensorflow2.0 混淆矩阵与打印准确率不符
二分类打印信息和混淆矩阵对不上原创 2022-07-28 21:47:48 · 857 阅读 · 0 评论 -
Tensorflow2.0 深度学习运行代码简单教程
之前写过Pytorch,现在工作需求用了Tensorflow2.0的框架,经过这段时间的学习,来总结下。Tensorflow2.0提供了两种训练模式可以上手。原创 2022-07-24 10:15:17 · 2172 阅读 · 2 评论 -
Tensorflow2.0进阶学习-RNN生成音频 (十二)
Generate music with an RNN啰哩啰嗦一大堆,要注意和的安装,可参照网上资料。下载数据看看下载数据有多大对MIDI文件进行处理再看看下载数据格式,是midi格式的文件,这个需要库来处理将其定义为实例,方便以后操作再定一个方法对数据进行播放,播放时长可以自定义在jupyter执行下面代码,会出现播放控件,可以播放里除了音乐还有一些音乐介绍数据打印打印出来的可以看成乐谱,有一些音符信息,有音高,有持续时间,还有步长将信息处理成模型可输入的格式也可以看一些音符信原创 2022-07-14 10:32:53 · 702 阅读 · 0 评论 -
Tensorflow2.0进阶学习-图像 (十一)
规范的图片尺寸都一样,不规范也要拉伸到规范,注意好输入输出的数据尺寸就好了数据准备cifar10,图片分类老朋友了。看看长什么样子原创 2022-06-01 15:11:40 · 158 阅读 · 0 评论 -
Pytorch 深度学习运行代码简单教程
Pytorch 是一个机器深度学习框架,易于上手,个人感觉比tensorboard要友好。Pytorch的深度学习程序分三个模块,实现三个功能,分别是取数据、建模型、运行程序。一般是分三个.py文件写,当然也可以写在一个文件里。我喜欢写成三个文件,这样看着比较方便点,而且Pytorch把这三个功能都写的挺好的,自己用的时候继承稍微改一下就好了。其实深度学习的最终目标,就像求 y=f(x)y = f(x)y=f(x) 这个公式中 f(x)f(x)f(x) 的最佳参数一样:首先我们会有很多很多的 (x,原创 2021-10-09 15:45:47 · 5537 阅读 · 3 评论 -
TTS中的stop_tokens
语音合成中,由于一个批次送进来的不是等长的音频,所以需要我们手动补齐短的,这样的话,在合成中也需要我们设置合成音频的长度,索性,一般会有一个linear层专门学这个,一般用nn.BCEWithLogitsLoss()损失函数,因为Label不是零就是一,那生成的stop_preds通过这个损失函数,生成的就是正负的了。查看代码如下:data = stop_preds.squeeze()data[data < 0] = 0data[data > 0] = 1print(data) # 查看原创 2020-08-30 11:27:43 · 272 阅读 · 0 评论 -
学习极大似然的若干笔记
文章目录贝叶斯公式似然函数最大似然估计MLE最大后验概率估计MAPReference贝叶斯公式贝叶斯可以这么理解因为P(A|B)P(B)=P(A∩B)=P(B|A)P(A),所以可以推出P(A|B)=P(B|A)*P(A)/P(B)更一般可以这样理解P(规律|现象) = P(现象|规律)P(规律)/P(现象)也就是看见现象去推导出现这个现象背后的规律,这样就可以引入概率了,出现的可能性...原创 2020-03-24 15:29:30 · 248 阅读 · 0 评论 -
Pytorch 医疗图像分割里的Dice
图像分割里的Dice看了下也是蛮多的,其中最常用的吧就是:两张图片的交乘以2除以他们的和这个写的特别好医学图像分割之 Dice Loss,看这个就够了,下面我自己记录下在做完交叉熵后,由于出来的是每个像素的类别预测概率,得把这些个概率转为相对应的像素才行。# lesion_pre为网络跑出来结果,假如它的shape是[4, 2, 512, 512],这里做的是2D的图像,# torch送...原创 2019-11-07 09:28:45 · 5063 阅读 · 2 评论 -
Pytorch 中的交叉熵CrossEntropyLoss
损失函数中出镜率还是特别高的,每次用它的时候需要把数据结构调整对了,交叉熵就是预测分类的所属概率,比如这个图片是属于哪一类,属于狗?猫?马?什么的,用网络训完之后会得到一个每个分类的预测概率。看下面代码import torchimport torch.nn as nnloss = nn.CrossEntropyLoss()input = torch.randn(3, 5, requir...原创 2019-11-07 09:01:10 · 563 阅读 · 0 评论 -
Python 对2D图像做一些刚性变换
现在有好多做图像增强的,直接拿来用就好了,这个是自己写的记录一下import numpy as npimport cv2# 剪切一张图片def crop_2D(inputImg, label, crop_size=[256, 256]): index_arr = np.where(label == 1) # if len(index_arr[0]) == 0: #...原创 2019-11-07 08:36:04 · 670 阅读 · 0 评论 -
神经网络的认识(二)深层神经网络
深层神经网络深度学习与深层神经网络非线性激活函数多层网络损失函数经典损失函数深层学习有两个非常重要的特性———多层和非线性线性模型的局限性, 就是任意线性模型的组合仍然还是线性模型。所以引出激活函数,经过激活函数变换完的输出就不再是线性的了。深度学习与深层神经网络非线性激活函数如果将每一个神经元(也就是神经网络中的节点)的输出通过一个非线性函数,那么整个神经网络的模型也就不再是线性的了。...原创 2019-05-27 21:29:58 · 833 阅读 · 0 评论 -
神经网络的认识(三)卷积神经网络
卷积神经网络卷积层池化层卷积神经网络主要由以下五种结构组成输入层。输入层是整个神经网络的输入 ,在处理图像 的卷积神经网络中,它一般代表了一张图片的像素矩阵。从输入层开始 ,卷积神经网络通过不同的神经网络结构将上一层的三维矩阵转化为下一层的三维矩阵 , 直到最后的全连接层。卷积层。从名字就可以看出,卷积层是一个卷积神经网络中最为重要的部分。和传统全连接层不同 , 卷积层中每一个节点的输入...原创 2019-05-31 10:15:53 · 1965 阅读 · 0 评论 -
神经网络的认识(六)AlexNet、VGG、ResNet模型
AlexNet 模型ImageNet Classification with Deep Convolutional Neural Networks 是Hinton和他的学生Alex Krizhevsky在12年ImageNet Challenge使用的模型结构,刷新了Image Classification的几率,从此deeplearning在Image这块开始一次次超过state-of-ar...原创 2019-06-07 14:03:43 · 1800 阅读 · 0 评论 -
神经网络的认识(七)R-CNN
R-CNNRegion Proposal候选区域(Region Proposal)候选区域选择CNN 特征提取分类与边界回归Region Proposal可以解决滑动窗口的问题候选区域(Region Proposal)是预先找出图中目标可能出现的位置。它利用了图像中的纹理、边缘、颜色等信息,可以保证在选取较少窗口(几千甚至几百)的情况下保持较高的召回率(Recall)。RCNN(Regi...转载 2019-06-07 21:22:03 · 5394 阅读 · 0 评论 -
神经网络的认识(八)SPP-NET
SSP-Net: Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition先看一下 R-CNN 为什么检测速度这么慢, 一张图都需要 47s! 仔细看下 R-CNN 框架发现, 对图像提完 Region Proposal(2000 个左右) 之后将每个 Proposal 当成一张图像进行后续处理...转载 2019-06-08 09:32:29 · 1458 阅读 · 0 评论 -
神经网络的认识(九)Fast R-CNN
框架如此与 R-CNN 框架图对比, 可以发现主要有两处不同: 一是最后一个卷积层后加了一个 ROI pooling layer, 二是损失函数使用了多任务损失函数(multi-task loss), 将边框回归直接加入到 CNN 网络中训练。ROI pooling layer 实际上是 SPP-NET 的一个精简版, SPP-NET 对每个 proposal 使用了不同大小的金字塔映射,...转载 2019-06-08 14:00:08 · 818 阅读 · 0 评论 -
神经网络的认识(十)Faster R-CNN
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks在 Region Proposal +CNN 分类的这种目标检测框架中, Region Proposal 质量好坏直接影响到目标检测任务的精度。如果找到一种方法只提取几百个或者更少的高质量的假选窗口,而且召回率很高,这不但能加快目标检测速度,...转载 2019-06-08 15:07:57 · 1658 阅读 · 0 评论 -
神经网络的认识(十一)R-FCN
顾名思议:全卷积网络,就是全部是卷积层,而没有全连接层(fc)。R-FCN(基于区域的检测器)的方法是:在整个图像上共享计算,通过移除最后的 fc 层实现(即删除了所有的子网络)。使用“位置敏感的得分图”来解决了图像分类平移不变性与对象检测平移变化之间的矛盾。矛盾在于:物体分类要求平移不变性越大越好 (图像中物体的移动不用区分),而物体检测要求有平移变化。所以,ImageNet 分类领先的结果...转载 2019-06-08 20:12:32 · 603 阅读 · 0 评论 -
神经网络的认识(十二)Mask-RCNN
Mask-RCNN 的网络结构示意:其中 黑色部分为原来的 Faster-RCNN, 红色部分为在 Faster 网络上的修改:1) 将 Roi Pooling 层替换成了 RoiAlign;2) 添加并列的 FCN 层(mask 层);先来概述一下 Mask-RCNN 的几个特点(来自于 Paper 的 Abstract):1)在边框识别的基础上添加分支网络,用于 语义 Mask 识...转载 2019-06-09 09:35:38 · 3082 阅读 · 0 评论 -
神经网络的认识(四)LeNet-5 模型
LeNet-5模型第一层,卷积层第二层,池化层第三层,卷积层第四层,池化层第五层,全连接层第六层,全连接层第七层,全连接层LeNet-5 模型是 Yann LeCun 教授于1998 年再论文Gradient“based learning applied to document recognition中提出的,它是第一个成功应用于数字识别问题的卷积神经网络。第一层,卷积层这一层的输入就...原创 2019-06-04 17:53:43 · 1422 阅读 · 0 评论 -
神经网络的认识(五)Inception-v3 模型
Inception-v3 模型Inception 结构是一种和LeNet-5 结构完全不同的卷积神经网络结构。在 LeNet-5 模型中,不同卷积层通过串联的方式连接在一起,而 Inception-v3 模型中的Inception 结构是将不同的卷积层通过井联的方式结合在一起。一个卷积层可以使用边长为 1 、3 或者 5 的过滤器,那么如何在这些边长中选呢? Inception 模块给出...原创 2019-06-04 19:17:04 · 4897 阅读 · 0 评论 -
cifar-10 图片查看
cifar10 图片查看器from PIL import Imagedef unpickle(file): import pickle with open(file, 'rb') as fo: dict = pickle.load(fo, encoding='bytes') return dictimport matplotlib.pyplot a...原创 2019-09-02 09:19:34 · 2555 阅读 · 4 评论 -
神经网络的认识(一)神经网络的认识
神经网络的认识特征提取神经网络前向传播反向传播算法训练神经网络特征提取特征提取:我的理解就是将物体数据化,将一个实体尽可能的描述成计算机可以懂得话,就比如定义一个人,姓名、性别、爱好、出生地、出生日期…这样可以给他打足够多的标签,就可以定义他是谁了,这个标签就是特征。神经网络使用神经网络有4个步骤提取问题中实体的特征向量作为神经网络的输入,不同实体可以提取不同的特征向量定义神经网络的...原创 2019-05-27 16:41:44 · 1645 阅读 · 0 评论