qq_41978896的博客

台大2020年深度学习课程作业二（搬运）厚颜无耻的搬运一下，方便不能翻墙的小伙伴查阅。import numpy as npimport matplotlib.pyplot as pltX_test_path='./data/X_test'X_train_path='./data/X_train'Y_train_path='./data/Y_train'with open(X_test_path) as f: next(f) X_test=np.array([line.stri

numpy的矩阵求逆numpy中有np.linalg.inv()方法可以直接求逆，但是有时候原矩阵是无法直接求逆的，强行使用该方法会导致较大的误差；这时可以使用SVD矩阵分解的方法，舍去相关特征：matrixu, s, v = np.linalg.svd(matrix, full_matrices=False)#截断式矩阵分解inv = np.matmul(v.T * 1 / s, u.T)#求逆矩阵...

台大2020年深度学习课程作业一（搬运）今天看了一下李宏毅老师020年深度学习的课程作业一，厚颜无耻的搬运一下，方便不能翻墙的小伙伴查阅。import numpy as npimport pandas as pdimport matplotlib.pyplot as plt"""由每天前9个小时的18个空气的影响因素（如：NO，CO，SO2，PM2.5等等）来预测第10个小时的PM2.5，train.csv是一年的数据，每个月取了20天，每天24小时。"""#数据读取total_dat

决策树算法简介概述特征选择决策树减枝概述决策树是一种基本的分类和回归模型，在使用需要考虑三个方面的问题：1. 分类特征该如何选取；2. 决策树该如何生成；3. 决策树该如何减枝。特征选择决策数的特征选择有两个方法一个是基于信息熵一个是基于基尼指数的。一般我们将一个发生概率为p(x)的随机变量x的信息量表示为：−log(p(x))-log(p(x))−log(p(x))信息量越小表示这个随机变量可以提供的信息越少，当该随机量的出现概率为1时，它的信息量就为0。换句话说就是信息量约小，随机变量x

感知机模型简介与Python实现介绍代码介绍感知机是一个线性二分类模型，该模型是SVM和神经网络的基础。假设输入空间为X特征向量，输出空间为y={+1，-1}，从输入空间到输出空间函数可以表示为：f(x)=sign(WT+b)f(x)=sign(W^T+b) f(x)=sign(WT+b)对于分类错误的点(Xe,ye)(X_e,y_e)(Xe​,ye​)有：−ye(WTXe+b)>0-y_e(W^TX_e+b)>0−ye​(WTXe​+b)>0该点到分割平面的距离可以表

Softmax Regression 算法推导概述模型介绍代价函数介绍总结概述对于一个简单的二分类问题，一般采用逻辑回归算法进行处理，但是在实际应用中会遇到很多多分类问题，此时逻辑回归就没有办法很适用了。下面介绍基于逻辑回归延伸出的Softmax Regression 算法，该算法可以有效处理简单的多分类问题。模型介绍Softmax Regression 算法是基于最大熵模型推导出来的。最大熵的原理认为，在所有可能的概率模型中，熵最大的模型就是最好的模型。假设离散随机变量X的概率分布是P(X)，那么

支持向量机（SVM）算法推导概述推导Hard-Margin SVMSoft-Margin SVM对偶问题总结概述支持向量机模型是一种经典的二分类模型（通过额外处理也可以得到多分类模型），可以理解为在特征空间中去寻找一个超平面，这个平面离所分类的特征距离最远。推导Hard-Margin SVM假设有目标二分类别y(1,-1)，它的特征向量为X(x1,x2,x3…xn)，特征与类别之间线性相关。给每个特征赋权重值Wi，WTX大于等于0时y为1，反之为-1。超平面的最大边界我们称为margin，所以可以

Logistic Regression 逻辑回归公式推导和Python代码实现概述公式推导代码总结概述对于二分类问题通常都会使用逻辑回归，逻辑回归虽然占了回归这两个字但是它确是一个非常流行的分类模型，后面的很多算法都是从逻辑回归延伸出来的。下面我们来推导一下线性逻辑回归模型。公式推导假设在给定一个人的身体状况等参数情况下预测一个人生病的概率，特征向量X(x0,x1,x2…xn) 表示这个人的身体状况，预测量y等于0或1,0表示不会生病，1表示会生病。那么这个人会生病的概率可以表示为：f(x)=p(