SuperJayzz1的博客

cudnn出问题了，暂时禁用torch.backends.cudnn.enabled = False

backbone的意思就是骨干网络，backbone+head subnet就可以组成一个目标检测网络，为了有一个好的初始值以及加快训练，往往会使用imagenet的预训练模型作为backbone，以vgg16作为backbone为例。上节说到就是在vgg中间塞一个rpn，也就是在分类的全连接层之前加rpn，那么我们把这两部分分开。用的是torchvision的实现和预训练模型。def load_backbonevgg16(pretrained=True,**kwargs):model=vgg16(p

文章目录一、引言inreoduction1. 1监督学习Supervised learning1.2 无监督学习Unsupervised learning二、单变量线性回归Linear Regression with One variable2.1 模型表述Model Representantion2.2 算法Algorithm2.3 注意点Attention point三、多变量线性回归Linear Regression with Multiple variable3.1 模型描述Model Repres

11.1 邮件分类实例监督学习supervised learning：x = 邮件的特征 ，y = 标签1或0（是否为垃圾邮件）特征features x: 选择100个出现频率最高的单词。例如 deal,now…更可能是非垃圾邮件提取特征单词，按字典排序，特征向量为0/1，判断特征单词是否出现如何快速的使邮件分类器有低误差：收集更多数据使用更复杂的特征变量描述邮件 （发件人、地址…）关注邮件主题，并使用更复杂的特征变量（标点，大小写）检测邮件中的拼写错误在机器学习中，可以想尽办法去想

10.1 正确选择如果预测出现很大偏差，需要尝试去：收集更多的训练样本尝试使用更少的特征尝试使用更多的特征增加特征的多项式，例如增加x12,x22,x1x2,etc.x^2_1,x^2_2,x_1x_2,etc.x12​,x22​,x1​x2​,etc.尝试增大或减小正则化参数λ\lambdaλ值诊断法：是一种测试方法，通过测试可以了解算法问题所在，如何改进10.2 评估假设函数将样本分为训练集mmm和测试集mtestm_{test}mtest​ 7:3（样本需随机分布）线性回

9.1 神经网络损失函数神经网络数据集：(x(1),y(1)),(x(2),y(2)),...,(x(m),y(m)){(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...,(x^{(m)},y^{(m)})}(x(1),y(1)),(x(2),y(2)),...,(x(m),y(m))神经网络层数：LLL第lll层的神经元数（lll层特征数）：sls_lsl​（不包括偏差特征）cost function:∑i=1m\sum^m_{i=1}∑i=1m​: 样本从1到m的

8.1 传统机器学习非线性假设逻辑回归适用于特征类别少的数据集，当特征类别数多的时候，使用逻辑回归会产生非常多的特征项，会过拟合。上图5050像素的灰度图像，在一张图像中会产生5050*255个特征类别，在使用传统的机器学习中的逻辑回归，将不同的特征类别按最高二次进行组合，会产生3百万个不同的特征。显然这是不实用的。8.2 神经元与大脑8.3 神经网络的假设输入层input layer输出层output layer隐藏层hidden layer模型参数parameter = 权重wight

7.1 过拟合欠拟合：模型没有很好的拟合数据集。或称高偏差。过拟合：高阶多项式，变量太多，数据集不够约束这些变量。或称高方差。过拟合在参数过多时发生，假设训练出的模型能很好的拟合训练集，误差函数非常接近0，但这样的曲线无法泛化到新样本。泛化：一个假设模型应用到新样本的能力调试和诊断过拟合解决办法：减少选取变量的数量，人工选择保留重要的变量，使用算法选择变量保留所有变量，减少量级，或参数θj\theta_jθj​的大小7.2 正则化损失函数变量过多出现过拟合后，引入惩罚项。训练使损失

6.1 离散分类问题线性回归算法不适用分类问题。6.2 假设表示（方程）逻辑函数（sigmoid函数）：g(z)=11+e−zg(z)={1\over 1+e^{-z}}g(z)=1+e−z1​逻辑回归假设函数：hθ(x)=g(ΘTx)=11+e−ΘTxh_\theta(x)=g(\Theta^Tx)={1\over 1+e^{-\Theta^Tx}}hθ​(x)=g(ΘTx)=1+e−ΘTx1​h(x)指的是在给定参数Θ\ThetaΘ的前提下，y=1（患病）的概率条件概率：hθ(x)=P

多维特征x(i)x_{(i)}x(i)​表示n个特征中的第i个特征x(i)x^{(i)}x(i)表示m个样本中的第i个样本的n个特特征。是一个n维向量如x2x^2x2表示第二个房子的四个特征x2=[14162240]x^2=\begin{bmatrix}1416 \\ 2 \\2 \\40\\ \end{bmatrix}x2=⎣⎢⎢⎡​14162240​⎦⎥⎥⎤​xj(i)x^{(i)}_jxj(i)​表示第i个样本中第j个特征值。x2(3)=2x^{(3)}_2=2x2(3)​=2假设函数：h

3.1 矩阵和向量矩阵Matrix : Recrangular array of numbersR4∗2R^{4*2}R4∗2：4行2列矩阵矩阵的项：Ai,jA_{i,j}Ai,j​矩阵A第i行j列的元素A=[A1,1A1,2A2,1A2,2A3,1A3,2]A=\begin{bmatrix}A_{1,1}&A_{1,2}\\A_{2,1}&A_{2,2}\\A_{3,1}&A_{3,2}\\ \end{bmatrix}A=⎣⎡​A1,1​A2,1​A3,1​​A1,2​A2

二、单变量线性回归Linear Regression woth One Variable2.1 模型描述训练数据集=>学习任务=>输出假设函数h(x)h(x)h(x)mmm 训练样本数xxx 输入变量/特征yyy 输出变量(x(i),y(i))( x^{(i)} , y^{(i)} )(x(i),y(i))第i个样本2.2 代价函数选择合适的模型参数parameters使(h(x)−y)2(h(x)-y)^2(h(x)−y)2（预测值和真实值的误差）尽可能的小。对于回

一、引言introduction1.2 什么是机器学习解决任务T，进行性能度量P，通过P测定在任务T上的表现因经验E而提高1.3 监督学习教计算机完成某事，给定一个带标签（正确解）的数据集。房价预测问题：给定一组带正确售价的房价数据集。通过算法预测其他想要卖掉房子的房价回归问题：预测输出连续的数值输出（单个价格输出）分类问题：预测一个离散值输出（多个输出值）1.4 非监督学习数据集无标签，计算机自己找到某种结构。（分类算法等）如：自动将客户分类，自动分类市场...

《动手学深度学习》读书笔记摘要前言如何使用本书内容和结构简介核心原则。特点预备知识安装准备win:mac/linux更新代码和环境使用GPU数据操作创建NDArray运算广播机制索引运算的内存NDArray和NumPy互相转换自动求梯度深度学习基础线性回归线性回归基本要素模型（model）：设面积为x1，房龄为x2，出售价格为y。模型训练(model training)模型预测（模型推断、模型测试）线性回归的表示方法神经网络图矢量计算表达式线性回归利用NDArray、autograd实现线性回归利用gluo