yzy_1117的博客

原创 目标检测算法

算法分类： 两步走： 推荐区域region proposal + 分类 端到端：一个网络输入到输出。类别+位置 分类： 得出每个类别的概率，比较得到最大概率 训练：softmax 进行概率计算，交叉熵损失衡量 当图片中有一个类别时：分类+定位 分类：准确率 mAP 定位 ：IoU (交并比）:两个框相交的面积除以两个框占的所...

原创 计算机视觉实践基础3

背景建模一张图感兴趣的区域 ：前景 不感兴趣的：背景前提，相机静止镜头不动，背景固定帧差法： 由于场景中的目标在运动，目标的影响在不同图像帧中的位置不同。该类算法对时间上连续的两帧图像进行差分运算，不同帧对应的像素点相减，判断灰度差的绝对值，当绝对值超过一定阈值时，即可判断为运动目标，从而实现目标的检测功能。帧差法非常简单，但是会引入噪音和空洞问题混合高斯模型在进行前景检测之前，先对背景进行训练，对图像中每个背景采用一个混合高斯模型进行模拟，每个背景的混合高斯个数可以自适应。在测..

原创 计算机视觉实践基础2

harris角点检测角点 水平方向竖直方向灰度变化都很迅速NMS 非极大值抑制cv2.cornerHarris()SIFT尺度空间的获取通常使用高斯模糊来实现高斯差分金字塔候选关键点是DOG空间的局部极值点，而且这些极值点是离散的点，精确定位极值点的一种方法是，对尺度空间DoG函数进行曲线拟合，计算曲线的极值点，从而实现关键点的精确定位。极值点的曲线用泰勒级数进行展开消除边界响应 海森矩阵得到特征点的主方向 求解每个点的梯度的模以及方向生成特征描述 ...

原创 计算机视觉实践基础1

形态学计算：腐蚀与膨胀开运算：先腐蚀再膨胀闭运算：先膨胀再腐蚀梯度运算：膨胀-腐蚀- 礼帽 = 原始输入-开运算结果- 黑帽 = 闭运算-原始输入图像梯度：Sobel算子cv2.sobel 分别计算sobelx sobely 然后cv2.addWeightedScharr算子laplacian算子 对噪音点敏感，基本不单独使用canny 边缘检测1）使用高斯滤波器，以平滑图像滤除噪声；2）计算图像中每个像素点的梯度强度和方向；3...

原创 计算机视觉基础7

语义分割：从像素（pixel-level）水平上，理解识别图片的内容，根据语义信息分割。输入：图片 输出：同尺寸的分割标记，每个像素会被识别为一个类别FCN全卷积网络 所有层都是卷积层，相对位置保持不变，。解决降采样后的低分辨率问题全卷积化：将所有全连接层转换成卷积层，适应任意尺寸输入，输出低分辨率分割图片。反卷积：将低分辨率图片进行上采样，输出同分辨率分割图片挑层结构：精化分割图片反卷积：转置卷积 卷积的逆操作？ 可以拟合出双线性插值 外围全补...

原创 计算机视觉基础6-目标检测

目标检测区域卷积神经网络R-CNN目标检测 检测图片中所有物体的类别标签，位置（最小外接矩形，bounding box模块1：提取物体区域Region proposal模块2：对区域分类识别RCNN： selective search优先合并四种区域：颜色相近的 纹理相近的 合并后总面积小的 合并后总面积在其BoundingBox中所占比例大的RCNN:warpIoU 两个region的交并比在ImageNet上对CNN模型进行pre-trai...

原创 计算机视觉基础5

图像检索步骤：相似颜色检索 算法结构 目标：实现基于人类颜色感知的相似排序 模块：颜色特征提取&特征相似度计算颜色直方图就是将RGB图像中出现的颜色进行统计，将一张图像描述成一个256维向量自编码器：通过神经网络进行特征提取，提取出针对学习样本的通用特征降维方法。...

原创 计算机视觉4

AlexNet VGG GoogLeNetGoogLeNet 提出Inception网络 4个版本ResNet残差网络核心组件 skip/short cut connectionF（x)是残差映射 学习结果和原始x作差其他设计：卷积核都是3*3 使用步长为2 使用Batch Normalization 没用Max池化、全连接层优化bottleneckResNet 50/101/152层ResNeXt 引入一个新的维度cadinalityCNN设...

原创 计算机视觉基础3

传统图像分割方法 基于阈值的分割方法，基于图像的灰度特征来计算一个或多个灰度阈值，并将图像中每个像素的灰度值与阈值相比较，最后将像素根据比较结果分到合适的类别中。 基于边缘的分割方法，边缘是指图像中两个不同区域的边界线上连续的像素点的集合，是图像局部特征不连续性的反应，体现了灰度、颜色、纹理等图像特性的突变。 基于区域的分割方法，将图像按照相似性准则分成不同的区域，主要包括区域生长伐、区域分裂合并法和分水岭法等。 基于图论的分割方法，把...

原创 计算机视觉基础2

特征颜色特征几何特征 边缘 像素明显变化的区域 限速值函数快速变化的区域=》一阶导数的机制区域 边缘提取：先高斯去噪，再使用一阶导数获取极值，导数对噪声敏感 边缘提取尺度问题，不同标准差的滤波，能捕捉到不同尺度的边缘 基于特征点的特征描述子，从不同距离角度方向光照条件下观察同一个物体找到相同的特征点，从而仍能识别为同一物体 不同视角图片之间的映射，稳定局部特征点（可重复...

原创 计算机视觉基础1

颜色空间 空间之间可以进行转换RGB空间HSV空间CIE-XYZ颜色空间 基于人类颜色视觉的直接测定主流的颜色空间 RGB三通道彩色图 图片=》三维矩阵[0,255]单通道灰度图 Gray图像预处理 是图像增强的过程目标 改善图像的视觉效果，转换为更适合与人或机器分析处理的方式，突出对人或机器分析有意义的信息，一直无用信息，提高图像的使用价值图像锐化、平滑、去噪等图像处理方法：空间域处理、频率域处理 空间域处理：点运算、形态学运算、邻域运算...

原创 Pytorch RNN

原创 pytorch第三节

model capacitydepth越大 更能抽象出更多特征，模型表达能力越强case 1 estimated < ground-truth under-fittingcase 2 estimated > ground-truth over-fittingover fitting 现象更多如何检测和减少overfittingTrainSet Val Set TestSetvalset 挑选模型参数划分数据集 train 参数 True o...

原创 pytorch 第二节 神经网络

pytorch 神经网络torch.sigmoid(a)relu 梯度保持不变 torch.relu(a)from torch.nn import functional as FF.relu()Typical Loss : Mean Squared Error Cross Entropy LossMSEtorch.autograd.grad()变量需要梯度信息torch.requires_grad_x = torch.ones(1)w = torch.fu...

原创 深度学习pytorch

pytorch 数据类型pytorch不是完备的语言库，无法直接处理string如何处理string 使用onehot编码 embedding：word2vec\glove对于pytorch来说 数据是同一个数据在cpu 和GPU 数据类型是不一样的，gpu.tensorGPU tensor torch.cuda.floatTensora = torch.randn(2,3)a.type() =>torch.FloatTensorisinstance()标...

原创 机器学习sklearn-神经网络

单层神经网络在描述神经网络层数的时候我们不考虑输入层二分类单层神经网络：sigmod输出层增加sigmoid符号函数sign 阶跃函数多分类单层神经网络：softmax回归softmax三种神经网络回归问题把g(z)看做恒等函数 二分类是sigmoid 多分类是softmax...

原创 机器学习sklearn-xgboost

集成算法 多个弱评估器，汇总所有弱评估器的建模结果，以获取比单个模型更好的回归或分类表现。提升算法 Adaboost和梯度提升树XGBoost背后也是CART树，所有树都是二叉的对于梯度提升回归树来说，每个样本的预测结果可以表示为所有树上的结果的加权求和。每次迭代过程都加一棵树XGB每个叶子节点上会有一个预测分数，也被称为叶子权重，叶子权重就是所有在这个叶子节点上的样本在这一棵树上的回归取值参数n_estimators 默认100训练中是否打印每次训练的结果 silent 监控模型.

原创 机器学习sklearn-朴素贝叶斯

算法得出的结论永远不是100%确定的，更多的是判断除了一种样本的标签更可能是某类的可能性，而非一种确定。朴素贝叶斯是一种直接衡量标签和特征之间的概率关系的有监督学习算法联合概率 两个事件同时发生的概率条件概率 在某个前提下某个事件发生的概率...

原创 机器学习sklearn-线性回归

多元线性回归多重共线性 岭回归 lasso回归多元线性回归 LinearRegression 一个样本有多个特征的线性回归问题线性回归的任务就是构造一个预测函数来映射输入的特征矩阵X和标签值y的关系。这个预测函数的本质就是我们需要构建的模型，而构造预测函数的核心就是找出模型的参数向量w损失函数如下定义：把问题定义为一个最优化问题：损失函数最小化线性回归有监督 L2范式 即欧氏距离的平方误差平方和 SSE 残差平方和RSS最小二乘法求多元线性回归的参数问题...

原创 机器学习sklearn-支持向量机2

支持向量机软间隔让决定两条虚线超平面的支持向量可能是来自于同一个类别的样本点，而硬间隔的时候两条虚线超平面必须是由来自两个不同类别的支持向量决定的。二分类SVC中的样本不均衡问题 重要参数class_weight让算法意识到数据标签是不均衡的，通过加惩罚项或者改变样本本身，让模型向补货少数类的方向建模通过调节参数C来调节balancedclass_weight 每个类别的权重sample_weight 每个样本的权重较大的权重加在少数类的样本上，以迫使模型向着少数类的方向建模.

原创 机器学习sklearn-支持向量机

支持向量机SVM 支持向量网络可以做有监督学习、无监督学习、半监督学习监督学习：线性二分类与多分类、非线性二分类与多分类、普通连续性变量的回归、概率型连续变量的回归支持向量机 深度学习之外机器学习的天花板存在SVM可以用来做图像分类和图像分割系统使用支持向量机来识别用于模型预测的各种特征支持向量机的分类方法，是在这组分布中找出一个超平面作为决策边界，使模型在数据上的分类误差接近于小，尤其是在位置数据集上的分类误差尽量小。超平面：是一个空间的子控件，它是维度比所在空间小一维的空间，

原创 机器学习sklearn-聚类

sklearn中聚类算法有两种表现形式，一种是类，需要实例化，然后训练并调动接口，另一种是函数，输入特征矩阵和超参数就可得到结果。k-means 聚类算法的典型代表将一组n个样本的特征矩阵X划分为K个无交集的簇，直观上来看簇是一组聚集的数据，在一个簇中的数据认为同一类。簇中所有数据的均值被称为这个簇的质心。簇的个数K是一个超参数，需要认为输入来确定，kmeans的核心人物就是根据我们设定好的K找出K个最优质心，并将离这些质心最近的数据分别分配到这些质心代表的簇中。簇内差异：样本点到其所在

原创 机器学习sklearn-逻辑回归

损失函数不求解参数的模型没有损失函数大部分机器学习算法没有损失函数逻辑回归的损失函数是由极大似然估计推导出来的对逻辑回归中过拟合的控制，通过正则化来实现重要参数penalty C正则化 L1范数每一个参数的绝对值之和L2范数每一个参数的平方之和开平方C是用来控制正则化程度的超参数，sklearn中常数项C在损失函数的前面，通过调控损失函数本身的大小来调节对模型的惩罚penalty 默认L2正则化方式 C正则化强度的倒数L1正则化掌握稀疏性，会将参数压缩到0 ...

原创 机器学习sklearn-降维

降维就是降低特征矩阵中特征的数量sklearn.decomposition 降维（矩阵分解）主成分分析 PCA因子分析 FactorAnalysis独立成分分析 FastICA字典学习DictionaryLearning高级矩阵分解 LDA LatentDirichletAllocation其他矩阵分解 SparseCoder稀疏编码PCA与SVD降维 减少特征的数量 能够既减少特征点额数量，又保留大部分有效信息。PCA使用的信息量衡量指标，就是样本方差，又称..

原创 机器学习sklearn-特征工程

数据挖掘的5大流程：1、获取数据2、数据预处理3、特征工程将原始数据转换为更能代表预测模型的潜在问题的特征的过程，可以通过挑选最相关的特征，提取特征以及创建特征来是想4建模、测试模型并预测结果5、上线模型特征工程sklearn的预处理模块Preprocessing、Dimensionality reductionPreprocessing 基本包含数据预处理所有内容Impute 填补缺失值feature_selection 包含特征选择的各种方法的实践f.

原创 机器学习sklearn-2随机森林

集成算法会考虑多个评估器的建模结果，汇总之后得到一个综合的结果，以此来获取比单个模型更好的回归或 分类表现。多个模型集成成为的模型叫做集成评估器（ensemble estimator），组成集成评估器的每个模型都叫做基评估器 （base estimator）。通常来说，有三类集成算法：装袋法（Bagging），提升法（Boosting）和stacking。 装袋法的核心思想是构建多个相互独立的评估器，然后对其预测进行平均或多数表决原则来决定集成评估器的结 果。装袋法的代表模...

原创 机器学习sklearn-第一节

决策树交叉验证 cross_val_score(模型评估器regressor, 完整数据boston.data, 目标值boston.target, cv=10, scoring="neg_mean_squared_error")fit() 导入数据要导入二维的 ravel()降维python中一维数据部分行列最大深度max_depth 设定小的话限制模型对特征的拟合类似切片的用法 来增维 [:, np.newaxis]...

原创 机器学习进阶HMM

HMM 隐马尔可夫模型，可用于标注问题，在语音识别、NLP 生物信息、模式识别等领域使用HMM是关于时序的概率模型，描述有一个隐藏的马尔科夫链生成不可观测的状态随机序列，再由各个状态生成观测随机序列的过程隐马尔可夫模型随机生成的状态随机序列，称为状态序列，每个状态生成一个观测，由此产生的观测随机序列称为观测序列。序列的每一个位置可看做一个时刻隐马尔可夫模型的贝叶斯网络 变量之间不独立HMM由初始概率分布π，状态转移概率分布A以及观测概率分布B确定隐状态初始可能的概率向量（初始状态）状态转

原创 机器学习进阶-贝叶斯网络

相对熵：又称互熵，交叉熵，鉴别信息互信息：信息增益概率公式朴素贝叶斯假设一个特征出现的概率与其他特征独立，每个特征同等重要高斯朴素贝叶斯...

原创 机器学习进阶-EM算法

无监督分类 聚类 EM第一步 估算数据来自哪个组份正态分布估计 μ 和Σ 需要先验给定算出每个样本它由第K个组份生成的概率EM算法解决高斯混合分布GMM假定训练集包含M个独立样本，希望从中找到改组数据的模型参数通过最大似然估计建立目标函数EM算法找到局部最大值Jensen不等式...

原创 机器学习进阶-聚类

聚类聚类通过样本之间的相似性理解相似度度量聚类就是对大量位置标注的数据集，按照数据的内在相似性将数据集划分为多个类别，使类内部相似度最大。闵可夫斯基距离/欧氏距离杰卡德相似系数预先相似度...

原创 机器学习进阶-支持向量机

支持向量机图像不用人工提取特征了，可以不需要使用支持向量机，不过其他领域使用也很多线性可分支持向量机，线性支持向量机，非线性支持向量机（增加核函数）可以进行多分类SVM可以用线性核核高斯核进行分类支撑住分割线的向量计算点到直线距离 将距离作为指标 分割线离样本的最近距离取最大线性可分SVM 线性SVM可能样本在分割面上线性支持向量机 不一定分类完全正确的超平面就是最好的 样本数据本身线性不可分可以舍弃某个样本 过渡带越宽，泛化能力越好，防止过拟合若数...

原创 机器学习进阶-提升

由弱分类器得到强分类器：样本加权，分类器加权随机森林的决策树分别采样建立，相对独立假定当前得到m-1棵决策树，通过现有样本和决策树的信息对第m棵决策树的建立产生有益影响提升每一步产生一个弱预测模型，并加权累加到总模型中，如果每一步的弱预测模型生成都是依据损失函数的梯度方向，则成为梯度提升如果一个问题存在弱分类器，则可以通过提升的办法得到强分类器Bagging能够减少训练方差，对于不剪枝的决策树、神经网络等学习器有良好的集成效果，boosting减少偏差，能够给予泛化能力弱的学习器构造

原创 机器学习进阶第三节-决策树随机森林

决策树ID3 使用信息增益/互信息进行特征选择C4.5信息增益率CART基尼系数决策树不加限制增长往往会过拟合，泛化能力弱，通过剪枝和做随机森林来减少过拟合现象随机森林 多棵树理论上抑制过拟合bagging的策略 bootstrap aggregation从样本集中重采样，选出N个样本在所有属性上，对着N个样本建立分类器重复以上两步m次，即获得了m个分类器，将数据放在这m个分类器上，最后根据这m个分类器的投票结果决定数据分为哪一类。决策树是一种弱分类器 SVM 逻..

原创 机器学习进阶第二节-回归实践

MSE均方误差TSS总平方和RSS残差平方和 =SSE误差平方和R2 = 1-RSS/TSS R2越大拟合效果越好ESS 可解释的平方和 回归平方和TSS = ESS + RSS 只有在无偏估计时成立 否则 大于等于LWR 局部加权线性回归Logistic回归、sigmoid函数求偏导是为了做梯度下降来进行参数优化对数线性模型：一个时间的概率odds，是指该事件发生的概率与该事件不发生概率的比值...

原创 机器学习进阶第二节-回归

线性回归使用极大似然估计解释最小二乘目标函数梯度等于0 求驻点 得到θ增加λ扰动，可以解决若XTX不可逆或防止过拟合假设：机器学习中的建模过程充斥着假设，合理的假设是合理模型的必要前提。正则项L2正则 将线性回归的目标函数增加平方和损失：岭回归lasso做特征选择 降维 L1正则Elastic Net ： L1正则和L2正则结合起来梯度下降算法：初始化θ，沿着负梯度方向迭代，更新后的θ使得损失函数更小BGD批量梯度下降算法SGD随机梯度下降算法 优先选...

原创 机器学习进阶第一节-数据清洗和特征选择

贝叶斯公式最大似然估计在实际中往往将似然函数去对数得到对数似然函数，若对数似然函数可到，可通过求导的方式，接方程组得到驻点，分析该驻点的极大值点本质：找出于样本的分布最接近的概率分布模型二项分布的最大似然估计 修正：拉普拉斯平滑数据清洗pandasFuzzywuzzy-Levenshtein distance模糊查询与替换...

原创 机器学习基础第五节

逻辑回归 作用于二分类场景输入和线性回归一样，多项式sigmod函数 取值0-1范围逻辑回归公式：与线性回归原理相同,但由于是分类问题， 损失函数不一样，只能通过梯度下降求解损失函数：均方误差只有一个最小值，不存在局部多个最小值点对数似然损失：多个局部最小值改善方法：多次随机初始化，多次比较最小值的结果；求解过程中调整学习率12minsklearn.linear_model.LogisticRegressionsklearn.linear_model.Log.

原创 机器学习基础第四节

误差平方和（最小二乘法）机器学习： 算法 策略 优化线性回归和k近邻 需要标准化？38min 开始线性回归代码回归性能评估 均方误差评价机制线性回归 最为简单易用的回归模型，在不知道特征之间关系的前提下，可以首要选择线性回归LinearRegressionSGDRegressor...

原创 机器学习算法基础第三节

决策树信息量越大 信息熵越大信息和消除不确定性是相联系的决策树的划分依据是信息增益 不确定性sklearn选择基尼系数作为分类依据，该系数划分更加仔细class sklearn.tree.DecisionTreeClassifier(criterion=’gini’, max_depth=None,random_state=None)决策树的结构，本地保存sklearn.tree.export_graphviz() 该函数能够导出DOT格式 tree.export_graph..