AI_lalaland的博客

本次实验使用 EX1 写过的线性回归，主要是分析理解欠拟合（高偏差 bias）和过拟合（高方差 variance）。因为编写的代码基本在 EX1 和 EX2 都有涉及，主要记录实验过程，关于代码的详细注解可以参考：吴恩达机器学习CS229A_EX1_线性回归_Python3和吴恩达机器学习CS229A_EX2_逻辑回归与正则化_Python3数据集训练集 12 个样本，验证集和...

神经网络与反向传播算法数据集依然是手写数字。导入并初始化数据，这里用了 sklearn 的库函数用于生产原始 label 对应 NN 的输出形式：import numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom scipy.io import loadmatfrom sklearn.preproc...

任务描述数据集为手写数字，是一个多分类问题，分别用逻辑回归和神经网络做。逻辑回归逻辑回归及其正则化已经在 EX 2 做过，这里做一些修改即可。首先导入数据，给出的数据集是 Matlab 的 .mat 格式，每个样本是 20 * 20 的灰度图，共 5000 个样本：import numpy as npfrom scipy.io import loadmatimport s...

逻辑回归问题描述：特征集为学生的两门课的成绩，标签集为是否被大学录取。注意：这里调用 scipy 库函数执行梯度下降的具体迭代，不用手动设置步长和迭代次数，但cost 如何计算、梯度如何求取需要以函数形式传递给 scipy； numpy 对array 执行矩阵运算时，对数据格式比较严格，程序中调用了好几次 shape() 用于将形如 (100, ) 的数据格式转化为 (100, ...

单变量回归问题描述：你的数据集中，x 是某个城市的人口数量，y 是你的餐车在那个城市的盈亏数额。对这个数据集进行挖掘，帮助你进行决策。首先导入并分析数据：import numpy as npimport pandas as pdimport matplotlib.pyplot as pltdef loadData(firename): return pd.read_c...

AdaBoost 元算法AdaBoost 元算法是基于某一个前面介绍过的算法（比如 kNN、决策树、SVM）的，以决策树为例，我们的目标不是直接训练完整的决策树，寻求最优的参数设置，而是用很多不完美的决策树，将它们的计算结果经过加权求和，作为预测的依据。简单的说就是“三个臭皮匠，赛过一个诸葛亮”。算法从一个初始的权重向量 D 开始，训练得到决策树 A （可能是很简单的预测方式，并且预...

简化版 SMO 算法from numpy import *import randomdef loadDataSet(filename): dataMat = [] labelMat = [] fr = open(filename) for line in fr.readlines(): lineArr = line.strip()....

Logistic 回归，算法思想是使用 sigmoid(W * X ) 来预测结果，将特征置以不同权制相加，再加上一个偏置量，得到的值经过 sigmoid 函数的处理，进行预测。其中 W 向量是我们要根据训练集数据得到的，这里用的方法为梯度下降法，以及为了减少运算量而采用的随机梯度下降法。算法特别的细节是对学习率和迭代次数这两个参数的选取，需要深入理解算法原理以及算法迭代过程中的现象，尽...

决策树 ID3 算法原理比较简单，处理数据的过程也比较容易理解，简单的说就是以数据集的香农熵作为判据，利用树的数据结构递归对数据集进行分类。STEP1计算数据集的香农熵#计算数据集的香农熵def calcShannonEnt(dataSet): #获取数据个数 numEntries = len(dataSet) #创建空字典，用于存储 label：个数 的键...

关于算法原理可参照：朴素贝叶斯算法原理_简单示例描述文本分类实验训练集为手动输入的小型训练集：训练集 X（特征：词条组成的集合） Y（Label：是否侮辱性） ['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'] 0 ['maybe', 'not', 'take', 'hi...

参考李航《统计学习方法》，列出一个自制的简单的数据集，描述朴素贝叶斯算法的原理。一步步往下读，很好理解这个算法！基本设定输入值 X ：一个 n维向量，即输入的数据包含 n 个特征值 输出值 Y ：{c1, c2, ……, ck}中的一个（总共有 k 种 label） 训练集 T ：{(x1, y1), (x2, y2), ……, (xN, yN)}（总共 N 组）以一个简易数...

使用 Python3.7 编译，代码与书中类似，修改了 python2 被淘汰的语法，附详细注解。kNN算法原理非常简单，无需赘述，缺点主要是运行速度。这里使用的方法全都是矩阵结构，全局遍历，没有用到高级数据结构，运行效率较低，但是实现简单。重点学习Python 和Numpy 的基本语法（列表、矩阵操作）以及基本的文件操作。基本算法from numpy import *...

Anaconda版本：2020.02Pycharm 为安装Anaconda 过程中，安装界面给的PyCharm CE with Anaconda plugin 下载地址

https://blog.youkuaiyun.com/mghhz816210/article/details/73088406https://www.cnblogs.com/yuuje/p/10114855.html

慕课上的北理工《Python机器学习应用》课程的环境配置。课程内容主要是在 Windows 环境下利用 Python 的 Scikit-learn 库和 tensorflow 库进行机器学习的实践，理论讲解不多，主要是提供一个快速动手实践，体验简单工程的方式。因为课程是2017年开设的，一些库的版本有了升级，配置要求也有了变化，笔者折腾了很久才配置好：C:\Users\VITA&gt...

决策树ID3算法用Python的实现和可视化表示，附代码详细注释

机器学习基本的基于任务目的的算法分类，以及Python3在MacOS环境下的安装。

kNN是数据挖掘分类技术中最简单的技术之一。工作原理：1、监督学习训练样本集（包含label）；2、输入新数据，将每个特征与样本集中数据对应的特征进行比较，提取特征最相似数据（最近邻）的分类标签；3、一般指选择样本数据集中前 k 个最相似的数据。算法实现：1、初始化训练样本集，输入待测数据；2、计算当前点和所有训练样本集中的点的距离；3、按照距离递增排序样本点；