打瞌睡_的博客

深度学习笔记 课程 编号 理论笔记 编程作业 神经网络和深度学习 1.1 深度学习介绍 \ 1.2 神经网络编程基础 识别猫的程序 1.3 浅层神经网络 单隐藏层的平面数据分类 1.4 深层神经网络 搭建多层神经网络及其应用 改善深层神经网络 2.1 深度学习实践方面...

给定RGB视频或图片，目标是分割出图像中的指定目标掩码。我们需要复现两个Zero-shot的开源项目，分别为IDEA研究院的GroundingDINO和Facebook的SAM。首先使用目标检测方法GroundingDINO，输入想检测目标的文字提示，可以获得目标的anchor box。将上一步获得的box信息作为SAM的提示，分割出目标mask。具体效果如下（测试数据来自VolumeDeform数据集）：其中GroundingDINO根据的文字输入计算的box信息为：。项目实测下来单张图片的预测速度Gro

BERT和GPT等基于Transformer的模型通过在上游大数据上预训练和下游任务上微调的形式已经成为大数据时代的重要的技术范式之一。

大部分论文中使用的都是warmup + cosine_decay。实际上大家都是守着模型手动调。

Autogluon学习笔记Autogluon在合理的计算开销下得到模型效果还不错。虽然可以做特征自动抽取，但是加入一些人工数据预处理可以提升效果。比较大的数据集需要使用gpu或者多台机器进行分布式训练。

文章目录.自定义数据集根据龙良曲Pytorch学习视频整理，视频链接：【计算机-AI】PyTorch学这个就够了！(好课推荐)深度学习与PyTorch入门实战——主讲人龙良曲.自定义数据集Load dataInherit from torch.utils.data.Dataset__len____getitem__Build modelTrain and TestTranfer Learning...

文章目录47.根据龙良曲Pytorch学习视频整理，视频链接：【计算机-AI】PyTorch学这个就够了！(好课推荐)深度学习与PyTorch入门实战——主讲人龙良曲47.

文章目录47.Auto-Encoder介绍48.Auto-Encoder变种49.Variational Auto-Encoder引入50.变分自编码器VAE51.实战51.1AE51.2VAE根据龙良曲Pytorch学习视频整理，视频链接：【计算机-AI】PyTorch学这个就够了！(好课推荐)深度学习与PyTorch入门实战——主讲人龙良曲47.Auto-Encoder介绍Supervised LearningUnsupervised LearningReinforcement Lear

文章目录40.时间序列表示根据龙良曲Pytorch学习视频整理，视频链接：【计算机-AI】PyTorch学这个就够了！(好课推荐)深度学习与PyTorch入门实战——主讲人龙良曲40.时间序列表示

文章目录根据龙良曲Pytorch学习视频整理，视频链接：【计算机-AI】PyTorch学这个就够了！(好课推荐)深度学习与PyTorch入门实战——主讲人龙良曲

文章目录25.过拟合&欠拟合根据龙良曲Pytorch学习视频整理，视频链接：【计算机-AI】PyTorch学这个就够了！25.过拟合&欠拟合

13.梯度导数 derivative偏微分 partial derivate梯度 gradient（向量）How to search for minima?θt+1=θt−αt▽f(θt)\theta_{t+1}=\theta_t-\alpha_t\triangledown f(\theta_t)θt+1​=θt​−αt​▽f(θt​)Optimizer performanceinitialization status 何恺明初始化方法learning rate （learnin

文章目录4.基本数据类型4.1 All is about Tensor4.2 How to denote string4.3 Data type4.4 Type check4.5 Dimension / rank4.6 Mixed5.创建Tensor5.1 Import from numpy5.2 Import from List5.3 uninitialized5.4 set default type5.5 rand / rand_like, randint, randn5.6 full5.7 arran

cmd查看CUDA版本信息: nvcc -Vpython查看torch和cuda信息:import torchprint(torch.__version__)print('gpu:', torch.cuda.is_available())Linear RegressionLogistic Regressionnumpy.genfromtxt(file_name)Pytorch基本数据类型数据位置对数据类型的影响：标量的表示：标量的shape：张量的表示：维度：

文章目录Python语法1.除法/，//，np.divide()，np.true_divide()，np.floor_divide()2.list[]3.\__init__，\__new__，\__class__...Numpy库1.rand()，randn()，randint()，random_sample()2.squeeze()，ravel()，flatten()3.array()4.linalg.norm()5.随机种子Matplotlib库1.contourf()2.cmap=plt.cm.Spe

参考博客：机器翻译与触发词机制最后一个编程作业，做的云里雾里，好多不懂的地方，非术业专攻等想起来的时候再弄明白吧。机器翻译main.pyfrom keras.layers import Bidirectional, Concatenate, Permute, Dot, Input, LSTM, Multiplyfrom keras.layers import RepeatVector, Dense, Activation, Lambdafrom keras.optimizers import A

第五门课 序列模型(Sequence Models)3.1基础模型（Basic Models）建立一个编码网络（encoder network），它是一个RNN的结构， RNN的单元可以是GRU 也可以是LSTM。每次只向该网络中输入一个法语单词，将输入序列接收完毕后，这个RNN网络会输出一个向量来代表这个输入序列。之后你可以建立一个解码网络3.2选择最可能的句子（Picking the most likely sentence）3.3集束搜索（Beam Search）3.4改进集束搜索（Refi

参考博客：词向量的运算与Emoji生成器1.词向量运算main.py""" 代码实现： 1.加载训练好的词向量 2.使用余弦相似性计算相似度 3.使用词嵌入解决类比问题 4.使用词嵌入减少性别偏见等"""import numpy as npimport Deep_Learning.test5_2.w2v_utils# 加载词向量，使用五十维的向量表示单词words, word_to_vec_map = Deep_Lea

第五门课 序列模型（Sequence Models）2.1词汇表征（Word Representation）2.2使用词嵌入（Using Word Embeddings）2.3词嵌入的特性（Properties of word Embeddings）2.4嵌入矩阵（Embedding Matrix）2.5学习词嵌入（Learning Word Embeddings）2.6Word2Vec2.7负采样（Negative Sampling）2.8GloVe词向量（Glove Word Vecto

参考文章：序列模型——搭建循环神经网络及其应用这周的编程作业好难啊，明明原理都懂的一实践就完蛋，模棱两可的码了好久。问题：在执行LSTM网络即兴演奏爵士乐代码时出现了AssertError，我将preprocess.py文件第110行的assert len(chords) == len(measures)注释掉了，加了一行del measures[len(measures) - 1]，并将preprocess.py、data_utils.py、music_utils.py文件中所有的78换成了80，成功

第五门课 序列模型（Sequence Models）1.1为什么选择序列模型（Why Sequence Models?）循环神经网络（RNN）之类的模型在语音识别、自然语言处理和其他领域中引起变革。序列问题有很多不同类型：以上问题都可以被称作使用标签数据(X,Y)(X,Y)(X,Y)作为训练集的监督学习。1.2数字符号（Notation）假设一自然语言处理（NLP）问题：语音识别系统。给定输入数据xxx，想要一个序列输出yyy，使得输入的每个单词都对应一个输出值。用x<t>x^{&l

参考文章：1.人脸识别与神经风格转换 2.神经风格转换编程作业神经网络风格中遇到的问题已经解决了并将解决方案写在了备注里面，但是人脸识别那里运行到database就出错了，目前仍没有找到解决方案,报错信息：Traceback (most recent call last): File "G:/Project/PYTHON/Demo01/Deep_Learning/test4_4/人脸识别.py", line 108, in <module> database["daniel

第四门课 卷积神经网络（Convolutional Neural Networks）4.1什么是人脸识别（What is face recognition?）人脸验证（face verification）是一对一问题，而人脸识别（face recognition）是一对多问题，所以人脸识别问题更复杂。4.2One-shot学习（One-shot learning）在一次学习问题中，只能通过一个样本进行学习，以能够认出同一个人。大多数人脸识别系统都需要解决这个问题，因为在数据库中每个雇员或者组员可能

问题描述最近在学习吴恩达深度学习系列课程，做到编程作业4.3车辆识别时因为TensorFlow和Keras版本不兼容而出现各种问题，查找了一些资料后好多人都提出降低TF版本，不放弃我最后的倔强，最终还是把所有问题逐一解决了：）查看Python、TensorFlow、Keras版本：我的Python版本3.7.0，TensorFlow版本2.3.1，Keras版本2.4.3。import sysimport tensorflow as tfimport kerasprint(sys.version

【代码】【吴恩达深度学习编程作业】4.3目标检测——车辆识别（附权重文件）

第四门课 卷积神经网络（Convolutional Neural Networks）3.1目标定位（Object localization）3.2特征点检测（Landmark detection）3.3目标检测（Object detection）3.4滑动窗口的卷积实现（Convolutional implementation of sliding windows）3.5Bounding Box预测（Bounding box predictions）3.6交并比（Intersection ove

参考文章：Keras入门与残差网络的搭建1.Keras入门——笑脸识别main.pyimport numpy as npfrom keras.layers import Input, Dense, Activation, ZeroPadding2D, BatchNormalization, Flatten, Conv2Dfrom keras.layers import AveragePooling2D, MaxPooling2D, Dropout, GlobalMaxPooling2D, Glob

第四门课 卷积神经网络（Convolutional Neural Networks）2.1为什么要进行实例探究（Why look at case studies?）Classic networks:LeNet-5AlexNetVGGResNetInception2.2经典网络（Classic networks）LeNet-5 ：[LeCun et al . 1998. Gradient-based learning applied to document recognition]A

参考文章：搭建卷积神经网络以及应用神经网络的底层搭建实现一个拥有卷积层CONV和池化层POOL的网络，包含前向和反向传播CONV模块包括：使用0扩充边界：没有缩小高度和宽度；保留边界的更多信息卷积窗口前向卷积反向卷积POOL模块包括：前向池化创建掩码值分配反向池化main.pyimport numpy as npimport matplotlib.pyplot as pltplt.rcParams['figure.figsize'] = (5.0, 4.0)plt.r

第四门课 卷积神经网络（Convolutional Neural Networks）1.1计算机视觉（Computer vision）应用计算机视觉时要面临一个挑战是数据的输入可能会非常大，进行卷积计算可以解决这一问题。1.2边缘检测示例（Edge detction example）卷积运算是卷积神经网络最基本的组成部分。让电脑去搞清楚这张照片里有什么物体，做的第一件事是检测图片中的垂直边缘。要构造一个3×3的过滤器（在论文中有时被称为核），对这个6×6的图像进行卷积运算，卷积运算用“∗*∗”来表示

第三门课 结构化机器学习项目（Structuring Machine Learning Projects）2.1进行误差分析（Carrying out error analysis）进行错误分析应该找一组错误样本，可能在开发集里或者测试集里，观察错误标记的样本，看看假阳性（false positives）和假阴性（false negatives），统计属于不同错误类型的错误数量。在这个过程中归纳出新的错误类型。通过统计不同错误标记类型占总数的百分比，可以发现哪些问题需要优先解决，或者给你构思新优化方向的

第三门课 结构化机器学习项目（Structuring Machine Learning Projects）1.1为什么是ML策略（Why ML Strategy?）改善系统的方式：1.2正交化（Orthogonalization）正交意味着互成90度，设计出正交化的控制装置，各个参数单独调试互不干扰，最理想的情况是和实际想控制的性质一致，这样调整参数时就容易得多。1.3单一数字评估指标（Single number evaluation metric）评估分类器的一个合理方式是观察它的查准率（

参考文章：TensorFlow入门main.py""" TensorFlow入门： 初始化变量 建立一个会话 训练的算法 实现一个神经网络"""import numpy as npimport matplotlib.pyplot as pltimport tensorflow as tffrom tensorflow.python.framework import opsimport Deep_Learning.test

第二门课 改善深层神经网络：超参数调试、正则化以及优化（Improving Deep Neural Networks:Hyperparameter tuning,Regularization and Optimization）3.1调试处理（Tuning process）超参数（按调试重要程度排序）：学习速率α\alphaα动量梯度下降法（Momentum）中的β\betaβ不同层中隐藏单元数量KaTeX parse error: Undefined control sequence:

参考文档：优化算法实战代码实现：分割数据集优化梯度下降算法：2.1不使用任何优化算法2.2 mini-batch梯度下降法2.3 使用具有动量的梯度下降算法2.4 使用Adam算法main.py""" 代码实现： 1. 分割数据集    2. 优化梯度下降算法： 2.1 不使用任何优化算法 2.2 mini-batch梯度下降法 2.3 使用具有动量的梯度下降算法

第二门课 改善深层神经网络：超参数调试、正则化以及优化（Improving Deep Neural Networks:Hyperparameter tuning,Regularization and Optimization）2.1Mini-batch梯度下降（Mini-batch gradient descent）优化算法将加快神经网络的运行，加快训练模型。深度学习没有在大数据领域发挥最大的效果，我们可以利用一个巨大的数据集训练神经网络，但这样训练速度很慢，使用快速的优化算法可以大大提高效率。把训练

参考文章：改善深层神经网络-初始化、正则化、梯度校验至今为止，数据集的加载、决策边界的曲线绘制代码不熟悉，向量与字典的相互转化的代码没细看。代码实现功能如下：初始化参数：1.1：使用0来初始化参数1.2：使用随机数来初始化参数1.3：使用抑梯度异常初始化参数（参见视频中的梯度消失和梯度爆炸）正则化模型：2.1：使用二范数对二分类模型正则化，尝试避免过拟合。2.2：使用随机删除节点的方法精简模型，同样是为了尝试避免过拟合。梯度校验 ：对模型使用梯度校验，检测它是否在梯度下降的过程中出

第二门课 改善深层神经网络：超参数调试、正则化以及优化（Improving Deep Neural Networks:Hyperparameter tuning,Regularization and Optimization）1.1训练，验证，测试集（Train / Dev / Test sets）训练数据通常划分为：训练集（training set）：尝试不同的模型框架训练数据，验证集（development set）：通过验证集或简单交叉验证集选择最好的算法模型测试集（test set）：正

参考文档：一步步搭建多层神经网络及其应用 码了两天终于码完了，搞不懂的地方优快云大致是理解了，希望自己可以多回来看看吧。目录结构main.pyimport numpy as npimport matplotlib.pyplot as pltimport Deep_Learning.test4.testCasesfrom Deep_Learning.test4.dnn_utils import sigmoid, sigmoid_backward, relu, relu_backwardimp

4.1深层神经网络（Deep L-layer neural network）严格来说，逻辑回归也是一个一层的神经网络。有一个隐藏层的神经网络就是一个两层神经网络。计算神经网络时不计入输入层，只计隐藏层和输出层。有些函数只有深层的神经网络可以学会，对于任何给定的问题很难提前预测到底需要多深的神经网络，一般先尝试逻辑回归，尝试一层然后两层隐藏层，然后把隐藏层的数量看作是另一个可以自由选择大小的超参数，然后再保留交叉验证数据上评估。正向传播时，会得到用激活函数ggg计算的第lll层激活后的结果g(z[l])