Zoo0ooey的博客

没有看完先copy一下-_-，明天补充！为什么用CNN我们都知道CNN常常被用在影像处理上，如果你今天用CNN来做影像处理，当然也可以用一般的neural network来做影像处理，不一定要用CNN。比如说你想要做影像的分类，那么你就是training一个neural network,input一张图片，那么你就把这张图片表示成里面的pixel，也就是很长很长的vector。output就是(假如你有1000个类别，output就是1000个dimension)dimension。那我相信根据刚才那堂

目录crirical point means gradient=0判断**critical point**是**local minima**还是**saddle point**？卡在saddle point时参数update的方向？saddle point vs. local minimasmall batch size and momentum help escape critical pointBatchMomentumcrirical point means gradient=0当梯度接近于0甚至

目录梯度下降review学习率的调整可视化设置学习率的大小Adaptive learning rate（自适应学习率）梯度下降review首先给定一个参数初始值，然后沿着参数梯度方向的反方向走η\etaη距离更新参数，知道找到损失函数L的最小点为止。学习率的调整如果设置的学习率刚好的话，如红色的线，可以顺利高效地找到最低点；如果学习率设置的太小，如蓝色的线，会走得很慢，但是在足够多的迭代次数后也会找到最低点；如果学习率设置的太大，如绿色和黄色的线，永远无法到达最低点。所以学习率的设置至关重要。

目录误差来源Bias vs. Variancebias大 -> 欠拟合variance大 -> 过拟合在bias和variance之间tarde-off选择模型 -> 交叉验证误差来源Error有两个来源：bias（偏差）和variance（方差）Error反映的是整个模型的准确度，Bias反映的是模型的输出结果与真实值之间的误差，即模型本身的精准度，Variance反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性。Bias vs. Variancebia

目录机器学习流程Step 1 -> 选择模型：线性模型Step 2 -> 模型评估：损失函数Step 3 -> 最佳模型：梯度下降梯度下降(gradient descent)过拟合(Overfitting)优化1：input更多的特征优化2：input更多的参数优化3：正则化(regularization)机器学习流程Step 1：A set of function -> 选择模型，一组w, bStep 2：Goodness of function -> 评估模型，损失函

目录机器学习机器学习相关技术参考资料机器学习Mechine Learning = Looking for a function from DataFramework:Step 1: function set 就是 modelStep 2: 通过输入Training Data得到 function set 中每个 function 的结果Step 3: 需要一个好的演算法从 function set 中挑出最好的function机器学习相关技术监督学习：训练集都是带label的数据

掌握基本的分类模型逻辑回归logistic regression收集数据集并选择合适的特征在数据集上我们使用我们比较熟悉的IRIS鸢尾花数据集。import pandas as pdfrom sklearn import datasetsiris = datasets.load_iris()X = iris.datay = iris.targetfeatures = iris.feature_namesdata = pd.DataFrame(X, columns=features)

超参数调优参数和超参数优化超参数对模型的超参数进行调优（调参）：我们前面4部分的优化都是基于模型本身的具体形式的优化，那本次5调整的内容是超参数，也就是取不同的超参数的值对于模型的性能有不同的影响。参数和超参数在刚刚的讨论中，我们似乎对模型的优化都是对模型算法本身的改进，比如：岭回归对线性回归的优化在于在线性回归的损失函数中加入L2正则化项从而牺牲无偏性降低方差。但是，大家是否想过这样的问题：在L2正则化中参数 λ 应该选择多少？是0.01、0.1、还是1？到目前为止，我们只能凭经验或者瞎猜，能

3.偏差与方差理论训练均方误差和测试均方误差偏差-方差的均衡优化模型（调参）训练均方误差和测试均方误差在回归中，我们最常使用的评价指标为均方误差（MSE）：MSE=1N∑i=1N(yi−f^(xi))2MSE=\frac {1}{N}\sum_{i=1}^{N}(y_i-\hat f(x_i))^2MSE=N1​∑i=1N​(yi​−f^​(xi​))2。左：通过不同函数f拟合产生的数据。右：灰色曲线->训练均方误差，红色曲线->测试均方误差。方块分别对应左图通过不同模型模拟数据

2.掌握基本的回归模型2.1 使用sklearn构建完整的回归项目还未整理完笔记，明日补充使用sklearn构建完整的机器学习项目流程：明确项目任务：回归/分类收集数据集并选择合适的特征选择度量模型性能的指标选择具体的模型进行训练评估模型性能并调参2.1 使用sklearn构建完整的回归项目收集数据集并选择合适的特征根据导论选择Boston数据集。选择度量模型性能的指标https://scikit-learn.org/stable/modules/model_evaluat

1.导论1.1 回归1.2 分类1.3 无监督学习机器学习的一个重要的目标就是利用数学模型来理解数据，发现数据中的规律，用作数据的分析和预测。数据通常由一组向量组成，这组向量中的每个向量都是一个样本，用????????来表示，其中???? = 1, 2, 3, . . . , ????，共N个样本，每个样本???????? = (????????1, ????????2, . . . , ????????????, ????????)共p+1个维度，前p个维度的每个维度我们称为一个特征，最后一个维度???

梯度下降与回归算法目录梯度下降与回归算法1. 机器学习的基本模式2. 线性回归3. 梯度下降python实现参考资料1. 机器学习的基本模式拟合数据 （训练模型） --> 进行预测假设函数（Hypothesis Function）：通常表示为 H(x)，输入数据输出预测值y^。损失函数（Loss Function）：通常表示为 L(x)，表示预测值与真实值的偏差。。函数返回值越大，表示结果偏差越大。成本函数（Cost Function）：通常表示为 J(x) ，与损失函数一样表示预

目录SVD概述SVD概念奇异值数目SVD降维SVD应用基于协同过滤的推荐系统相似度计算推荐引擎的评价餐馆菜肴推荐引擎基于SVD的图像压缩SVD概述SVD概念奇异值：奇异值和矩阵的特征值有关系。这里的奇异值Data*DataT特征值的平方根。奇异值分解：SVD是矩阵分解的一种类型，用于提取信息，可以把SVD看成是从噪声数据中抽取相关特征。SVD将原始的数据集矩阵Data分解成三个矩阵U、Σ和VT。Datam∗n=Um∗mΣm∗nVTn∗nData_{m*n} = U_{m*m} Σ_{

链接: 基于逻辑回归的分类预测.目录Part1 Demo实践Step1:库函数导入Step2:模型训练Step3:模型参数查看Step4:数据和模型可视化Step5:模型预测Part1 Demo实践Step1:库函数导入## 基础函数库import numpy as np ## 导入画图库import matplotlib.pyplot as pltimport seaborn as sns## 导入逻辑回归模型函数from sklearn.linear_model import