bigcindy的博客

1.前言支持向量机(Support Vector Machine，SVM)在2012年之前基本上是最优秀的分类算法。注意SVM常常用作分类任务，但是也可以完成回归任务。2. 对于线性可分的数据假设：存在线性可分的二分类数据及标签为：(x1, y1), (x2, y2), … , (xn, yn)，此时我们希望找到参数(W, b)使用模型XWT+b=0(超平面)能够将以上数据分开。对于线性可分数据，顾名思义一定存在一条直线可以将其分开（在二维情况下）。进一步可以从数学的角度证明出：如果数据可以

决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。机器学习中，决策树是一个预测模型，它表示对象属性与对象值之间的一种映射。决策树既可以解决分类问题，也可以解决回归问题。一般情况下常用于分类问题，因此也常常称为分类决策树。一个决策树包含三种类型的节点： 决策节点：通常用矩形框来表示 机会节点：通常用圆圈来表示 终结点：通常用三角形来表示 决策树生成步骤开始，将所有数据样本看作一个节点 遍历每个变量的每一种.

数学相关1.1 微积分：深度学习需要掌握高数微积分的知识，例如基本的求导、偏导数、梯度概念1.2 线性代数：需要掌握矩阵乘法、特征值、特征向量等，了解矩阵求导，深度学习中90%的运算可能都是优化为矩阵的运算，通过NumPy等高度优化的库完成。1.3 概率论：了解各类分布，如正态分布、泊松分布等，权重初始化时常常使用某种分布的随机数进行初始化。掌握最大似然原理等。1. 编程语言1.1 Python基础1.2 Python常用库：NumPy、Pandas、Maplotlib..

SVM可以同时支持线性和非线性的分类和回归任务。SVM常用核的类型；

1. 导入python库和数据import pandas as pdimport matplotlibimport sklearnfrom sklearn.linear_model import LinearRegressionimport matplotlib.pyplot as pltfor i in [pd, matplotlib, sklearn]: print(i.__name__,": ",i.__version__, sep="")输出：pandas: 0.

0. 案例背景我们将建立一个逻辑回归模型来预测一个学生是否被大学录取。假设你是一个大学系的管理员，你想根据两次考试的结果来决定每个申请人的录取机会。你有以前的申请人的历史数据，你可以用它作为逻辑回归的训练集。对于每一个培训例子，你有两个考试的申请人的分数和录取决定。为了做到这一点，我们将建立一个分类模型，根据考试成绩估计入学概率。1. 导入pythony库#导入机器学习三大件：Numpy, Pandas, Matplotlibimport numpy as npimport pandas

1. 梯度下降概述机器学习的训练过程是逐步调整模型的参数，使得模型的输出趋近于真实值。在机器学习中，当得到数据模型的目标函数后，便会尝试进行求解。然而实际应用中数据维度很大，或是模型复杂造成目标函数无法直接求解。这时便引出了著名的梯度下降（Gradient Descent）算法，根据梯度下降更新参数的公式如下：其中，α为学习率(Learning Rate)，是在模型训练前人为指定的一个较小正数，通常指定为0.01等大小的数，学习率对结果影响巨大，通常的做法是选择小的学习率和大的迭代次数。所有参数

1. 概述逻辑回归（Logistic Regression）是一个经典的二分类算法，并非回归算法。在机器学习实际解决分类问题时，可优先考虑逻辑回归算法。逻辑回归的决策边界可以是非线性的。同时也可用其变形softmax完成多分类任务。2. 算法推导2.1 Sigmoid函数Sigmoid函数公式为：fx=11+e-x#1其中定义域x∈(-∞, +∞)，值域f(x)为(0,1)。可以看出Sigmoid函数将任意大小的实数输入映射到了(0,1)之间的值，而(0,1)之间的数刚好可当作分

1. 概念线性回归（Linear Regression）解决的是连续数据的预测问题，是一种通过属性的线性组合来进行预测的线性模型，其目的是找到一条直线或者一个平面或者更高维的超平面，使得预测值与真实值之间的误差最小化。线性回归是一个典型的回归问题，也即平时所说的最小二乘法。2. 特点优点：结果具有很好的可解释性（w直观表达了各属性在预测中的重要性），计算熵不复杂。缺点：对非线性数据拟合不好适用数据类型：数值型和标称型数据3. 理论推导3.1 给定数据集D={(xi, yi)},

1. 课程整体介绍 [ 07:42 ]2. AI时代首选Python [ 09:20 ]3. Python我该怎么学 [ 04:21 ]4. 人工智能的核心-机器学习 [ 10:34 ]5. 机器学习怎么学？ [ 08:36 ]6. 算法推导与案例 [ 08:18 ]