qq_20945297的博客

原创 对GBDT的理解

我们在优化逻辑回归的时候使用梯度下降来优化权值，那是否可以优化函数呢？即对函数进行梯度优化，迭代逼近最优值。在GBDT中，每个树都是当前点取得最优的梯度下降的方向，我们可以求出前面n-1颗树的值，然后L(y,Fx-1)损失函数来对当前点求导，求出ri(当前点在第i个样本上的梯度)，这时候我们有了当前点xj以及各个样本在当前点的梯度Rij(i为各个样本),呢我们就可以将Rij当做xj的标签，以此...

原创 如何学损失函数

今天无意间看到了logistic回归的pytorch的实现，抱着他山之石可以攻玉的态度，阅读了一下代码，突然发现在其代码中的网络搭建部分只有一个Linear层，却不见softmax层（使用的是mnist数据集进行识别的所以要用到softmax回归），但是遍观其全体代码依然没有痕迹，这是我便奇了怪了，由于之在纯python和tf框架上敲过这个代码，所以对这一情况感觉很是奇怪，难道只用一个linear...

原创 零样本学习（加代码实现）

#导入相应的包import torchfrom torch import nn,optimimport torch.nn.functional as fimport torch.utils.data as datafrom __future__ import print_function import loadDataimport readAttributeimport numpy...

原创 BP神经网络反向传播求导

原创 面向对象与面向过程的区别浅见

如果把写代码比作行军打仗。那么我们可以认为面向过程是一名将军，他可以明确每一个士兵的作用，并且合理的调用每个士兵的战力。但是这仅仅适合少量兵马，兵马一旦过多，你就无法明确每一个士兵的作用。此时就需要面向对象，面向对象是一个元帅，他不知道每一个士兵的作用，但是他知道每一个将军的作用，他并不直接指挥士兵，而是通过合理的安排将军，间接的指挥士兵，适合大兵团作战。小仗用将军，大仗用元帅。...

原创 PCA降维大纲

PCA降维主要依靠找出特征向量的前k个主成分，将特征向量由n维缩减到k维（k<<n），同时保证信息没有太大的丢失，如何选出主成分，根据常理，数据分散要比数据密集更易区分些，因此根据原始数据映射到各个主成分上时，得到的方差的大小来确定主成分的优先级。主要途径就是通过协方差矩阵（协方差矩阵主对角线是各个特征的特征值方差，其余数值为两两特征之间的协方差，协方差表示两个数据的相关程度，为0则不相关，为1则强相关），分解协方差矩阵，得到特征值和特征向量，特征值为各个特征（可以看做是基）的方差，前面提到

原创 一个岛上有12人，已知11个人体重相同，1人比其他人轻或重，现岛上有一跷跷板，在只能使用三次的情况，如何找出那个人

解题方案：第一次分为3组，4，4，4分别记为A,B,C第一次比较AB1：如果AB相等，则异常体重出现在C组，此时AB为正常体重，则可以将C分为2,2记为C1，C2，与AB中的任意两个比较。2：如果AB不等，则异常体重出在AB，此时将AB分为3组，A1,A2,B1; A3,A4,B2; B3,B4三组，记为1，2，3组。第二次比较：1：如果AB相等，比较A1A2与C1C2...

原创 ValueError: Input contains NaN, infinity or a value too large for dtype('float32'64)可能的原因

造成这个错误的原因有一下三个：1：既有可能出现的问题，nan，例如分母为0，或是log(-1)这种明显违背数学常理的情况2：无穷值，无穷大或无穷小，例如log(0)就是一个负无穷的数值，无法处理3：数值超出了float能表达的范围，以至于无法使用float表达出来三个原因，从上到下，依次排查，很快就能找到问题的原因。可以看一下数值的取值范围，最大最小值等，基本就能找到原因了。...

原创 框架损失函数详解

今天无意间看到了logistic回归的pytorch的实现，抱着他山之石可以攻玉的态度，阅读了一下代码，突然发现在其代码中的网络搭建部分只有一个Linear层，却不见softmax层（使用的是mnist数据集进行识别的所以要用到softmax回归），但是遍观其全体代码依然没有痕迹，这是我便奇了怪了，由于之在纯python和tf框架上敲过这个代码，所以对这一情况感觉很是奇怪，难道只用一个linear...

原创 对pytorch中动态建图的一点小见解

什么是动态建图？如何动态建图？动态建图为什么可以反向自动求导？我对于这个问题一直存在疑惑，但是去网上又没有找到好的解释，于是，没办法，自己实验吧。首先，我们做如下定义：a = torch.randn(2)b = torch.randn(2)c = torch.randn(2,requires_grad=True)m = a*bprint(m.grad_fn)q = ...

原创 pytorch自动求导，自定义损失函数

什么是动态建图？如何动态建图？动态建图为什么可以反向自动求导？我对于这个问题一直存在疑惑，但是去网上有没有找到好的解释，于是，没办法，自己实验吧。首先，我们做如下定义：a = torch.randn(2)b = torch.randn(2)c = torch.randn(2,requires_grad=True)m = a*bprint(m.grad_fn)q = a*cprint(q.grad_...

原创 AdaBoost

今天重新看了一下集成学习，对里面的adaboost重新回顾了一下，感觉有了新的见解。adaboost并没有涉及到参数的调整，他只不过是在机械的试着各种参数，使分类效果最好的决策树在最终决策上占的比重大一些，但是对于一些样本，可能现有的分类器效果并不是很好，于是在新的分类器中，他尝试着将上次分错的点的奖励变大，鼓励新的分类器去迎合上次分错的点，这就使得整个集成环境的泛化能力大大提高，同时，他也对每个...

原创 pytorch的一点小窍门（2）-基本的架构搭建

在pytorch中我么如何去学着搭建一个最基本的架构呢？一个架构的搭建分为一下几步：1：导入常用的包：torch,torch.nn,torch.functional等2：将要处理的数据导入，这里不得不说，pytorch现阶段支持的数据集比较少，如果你要使用的数据集不在其支持的数据集列表里，那你就要自己编写程序进行导入了，这个会在后面的章节里详说3：网络的搭建，写一个网络类，然后内部

原创 pytorch学习的一点小窍门（1）-数据转换

最近几天，由于要复现一篇论文，但是论文中的公式太过复杂，层层嵌套，本人表示无法求出导数来，遂决定借助框架的力量来进行操作，尝试过tensorflow,但是其静态图的模式调试起来过于麻烦，不利于随时随地取出数据来验证，于是开始转攻pytorch，用来一段时间，感觉真的很好用，但是在编写过程中也遇到很多的坑，于是决定将这些坑分享出来，以待后来人。pytorch和tensorflow一样的一点在于他

原创 贪心算法，分配最优化

小易去附近的商店买苹果，奸诈的商贩使用了捆绑交易，只提供6个每袋和8个每袋的包装(包装不可拆分)。 可是小易现在只想购买恰好n个苹果，小易想购买尽量少的袋数方便携带。如果不能购买恰好n个苹果，小易将不会购买。求小易最少买几袋苹果？如果没有分配方案则返回-1.思路解析：可得知，当我们只买6个每袋时花费最多的袋子，因此我们可以得知最多袋数，然后，我们就开始用for循环不断尝试0个6装袋，1个六装袋。。...

原创 一文读懂CNN

在讲卷积神经网络之前，我们先考虑一下什么是卷积？他为什么会出现？他的出现有什么用？以及如何用当下流行的tensorflow实现其基本的流程。我们下来说一下什么是卷积，其数学上的意义我在这不在赘述，我们着重说一下在神经网络中的卷积是什么。以图像处理为例，卷积好比是一个“筛子”，他将图像的一小块，一小块的过这个“筛子”，进而提取我们想要得到的东西（筛子想要的粒大的粮食，我们在这想要的是他的显著特征）。...

原创 机器学习实战-logistic回归随机梯度上升浅见

本周跟着书本调试了一下实战第五章logistic回归，下面浅谈一下我在随机梯度上升中遇到的问题以及一些见解。方式一：随机但有重复，增大遍历次数def stocGradAscent1(dataMat,labels,numIter=150):m,n = shape(dataMat)weights = ones(n)for j in range(numIter):dataIn