Messi-Q Blog

Autoencoder 简介机器学习中，处理大量数据会导致需要大量的计算；有时候，我们会需要选择对我们机器学习模型的学习贡献最大的重点数据部分，从而减少计算量；而选择数据重要部分的过程，这是自动编码器(Autoencoder )的应用案例之一。神经网络是一种计算模型，用于查找描述数据特征x及其值（回归任务）或标签（分类任务）y之间的关系的函数，即y = f（x ）；自动编码器也是一种神经...

第十三章 支持向量机（SVM）优化目标    支持向量机在学习复杂的非线性方程时能够提供一种更为清晰个更加强大的方式。    先回顾一下逻辑回归的相关概念，看如何进行改动可以得到支持向量机。逻辑回归的假设函数为，对应的图像如下：    如果有样本y=1，希望能尽可能接近1，意味着远大于0；    如果有样本y=0，希望能尽可能接近0，意味着远小于0。    逻辑回归中的代价函数为：    针对某一...

一、神经网络简介 神经网络算法的发展历史 起源：20世纪中叶，一种仿生学产品。 兴起：环境->2进制创新；能力->软硬件；需求->人的性价比。 主要功能： 分类识别 分类：图像（自动驾驶）、语音（语音助手）、文本（新闻推送） （1）了解神经网络的脉络...

第十四章 无监督学习无监督学习    这一章中将介绍无监督学习中的聚类算法，那么什么是无监督学习呢？    首先，拿监督学习来进行比较，这是一个典型的监督学习的例子，有一个带标签的训练集，目标是找到一条能够区分正样本和负样本的决策边界，如下图：    这里的监督学习问题是指有一系列标签，用假设函数去拟合它。    而相比于无监督学习中，数据并不带有任何标签，得到的数据如下图：    因此在无监督学...

第十八章 大规模机器学习学习大数据集    这一章中将讲述能够处理海量数据的算法。    思考：为什么要使用海量数据集呢？要知道获取高性能的机器学习系统途径是采用低偏差的学习算法，并用大数据进行训练。    这里拿之前提到过的易混淆词来举例，For breakfast I ate __ eggs，这里填two，而非too或者to，从下面的图中可以明确，只要使用大数据对算法进行训练，它的效果似乎会更...

第十九章 应用举例：照片OCR（光学字符识别）问题描述与OCR pipeline    这一章将介绍一种机器学习的应用实例：照片OCR技术，介绍它的原因：    （1）首先，展示一个复杂的机器学习系统是如何被组合起来的；    （2）接着，介绍一下机器学习流水线的有关概念以及如何分配资源来对下一步计划作出决定；    （3）最后，介绍一下照片OCR问题，展现机器学习中有用的想法和概念，其中之一就是...

第十五章 降维目标：数据压缩和可视化    这一章中将讨论第二种无监督学习的问题：降维。数据压缩不仅能让我们对数据进行压缩，使得数据占用较少的内存和硬盘空间，还能对学习算法进行加速。    （1）二维降到三维：    如果能把数据从二维减少到一维，用来减少这种冗余，通过降维，也就说想找出一条线，看起来大多数样本所在的线，所有的数据都投影到这条线上，通过这种做法，能够测量出每个样本在线上的位置。就可...

第四章 决策树（1）基本流程：    这一章中，将介绍决策树有关的问题，决策树是机器学习中一类常见的方法。    举个例子：    针对“这是好瓜吗？”这样的问题进行决策时，通常会进行一系列的判断或子决策：先看“它是什么颜色？”，如果是“青绿色”，再看“它的根蒂是什么形态？”，如果是“蜷缩”，再判断“它敲起来是什么声音？”最后做出决策：这是一个好瓜。        决策过程如下：    一般的，一...

这里主要是使用预训练好的模型进行图片特征的提取，分别使用三个模型进行抽取。而特征提取是提取神经网络模型的倒数第二层，这里自己对模型的进行了微调，话不多说，直接上代码。使用resnetimport torchimport torch.nn as nnfrom torch.autograd import Variablefrom torchvision import models,...

图是一种数据结构，它对一组对象（节点）及其关系（边）进行建模。近年来，由于图结构的强大表现力，用机器学习方法分析图的研究越来越受到重视。图神经网络（GNN）是一类基于深度学习的处理图域信息的方法。由于其较好的性能和可解释性，GNN 最近已成为一种广泛应用的图分析方法。为什么有图卷积神经网络 本质上说，世界上所有的数据都是拓扑结构，也就是网络结构，如果能够把这些网络数...

机器学习中对分类器的评估参考以下的评价指标，主要包括准确率(Accuracy)，精确率(Precision)，召回率(Recall)，F1-Score。接下来的描述主要是以二分类举例，即label为0和1的情况。 （一）理解TP, TN, FP, FN 首先需要明确这几个值的定义： True Positive(真正, TP)：将正类预测为正类数....

第十七章推荐系统问题规划    这一章中将讨论推荐系统的有关内容，它是在机器学习中的一个重要应用。    机器学习领域的一个伟大思想：对于某些问题，有一些算法可以自动地学习一系列合适的特征，比起手动设计或编写特征更有效率。这是目前做的比较多的研究，有一些环境能让你开发某个算法来学习使用那些特征。    接下里让我们通过推荐系统的学习来领略一些特征学习的思想。    推荐系统预测电影评分的问题：  ...

第六章 Octave/Matlab教程基本操作  一些想要构建大规模机器学习项目的人通常会使用Octave，这是一种很好的原始语言来构建算法原型。  本章节将介绍一系列的Octave命令：  （1）可以执行最基础的数学运算和逻辑运算。  （2）V=1:0.1:2，表示的是从1开始，每次步长为0.1，一直增加到2。  （3）V=1:6，这样v就被赋值了，从1到6。  （4）Ones(2,3)会得到两...

第二章 单变量线性回归

第七章 Logistic回归（一种分类算法）分类    之前的课程主要解决回归分析问题，这一次的课程主要为分类问题，分类问题也可看做将回归问题的连续性离散化。先来谈谈二分类问题。课程中先给出了几个例子：    邮件是垃圾邮件还是非垃圾邮件；网上交易是的欺骗性（Yor N）；肿瘤是恶性的还是良性的。    在所有的这类问题中，尝试预测的变量y都可以用0或1来表示，，0表示负类，1表示正类。    对...

第八章正则化课时1 过拟合问题    这一节中将讲述什么是过度拟合问题。    在数据拟合中，看一看下面的三种情况：    第一种称之为欠拟合，也叫高偏差；    第二种刚好拟合了数据；    第三种称之为过拟合，也叫高方差。在过拟合中，假设函数很好的匹配了训练集，但并不能很好的匹配测试集。    概括的说，过度拟合问题将会在变量过多的时候出现，它不能很好地泛化在新的样本中。上述的图片展示的是线性...

第九章神经网络简介非线性假设    非线性分类的例子：    非线性假设，会因为特征量的增多导致二次项数的剧增。    举个例子，在房价预测中，一栋房屋拥有的特征量为10000，那么它的二次项数为100*100/2,大约为5000个    关于计算机视觉的例子：    假设需要使用机器学习算法训练一个分类器，用来检测图像判断是否是汽车。    现在需要做一个非线性假设尽量分开这两类样本。    在...

第三章 线性代数回顾矩阵和向量        矩阵是二维数组的另一种说法。矩阵的维数是它的行数×列数。    向量是一种特殊的矩阵，是只有一列的矩阵。    通常在书写时，使用大写字母表示矩阵，小写字母表示向量。加法和标量乘法    案例：矩阵向量乘法    案例：矩阵乘法    案例：    通过构建两个矩阵可以快速地把这三个假设函数应用到4个房子的尺寸中，得到12种基于3个假设对4个房屋预测到...

第十章 神经网络参数的反向传播算法代价函数

第十一章 应用机器学习的建议决定下一步做什么    当要设计机器学习系统时，如何选择一条最适合最高效的道路？    假设你已经实现了正则化的线性回归来预测房屋价格，然而，当在一组新的测试集上使用该假设时，在预测上出现了不能接受的错误，接下来会做什么呢？也就是说当调试学习算法时，当面对测试集算法效果不佳时，会怎么做呢？    （1）采集更多的训练样本；（有时候并没有效果）    （2）尝试选用更少的...

第五章 多变量线性回归多功能

第十六章 异常检测问题动机    这一章中将介绍异常检测问题，这是机器学习算法的常见应用，那么什么是异常检测问题？    举例：比如生产汽车引擎，需要进行质量测试，而作为测试的一部分，需要测量汽车引擎的一些特征变量：    （1）引擎运转时产生的热量；    （2）引擎的振动；    于是就会有一个数据集：，把数据绘制成图，如下图：    这样，异常检测问题可以定义如下：    假设，之后生产了一...

第十二章 机器学习系统设计 确定执行的优先级    这一节中将介绍在实际工作过程中，应该先处理哪些事情。    以建立一个邮件分类器为例：    给定一组电子邮件，可以为每个电子邮件构造一个向量。这个向量中的每个元素代表一个单词。向量通常包含10,000到50,000个条目，这些条目是在我们的数据集中找到最常用的单词，将它们作为特征向量。当准备好所有的x向量，我们训练我们的算法，最后，我们可以用它...

第一章 初识机器学习Machine Learing：Grewout of work in AI ，Newcapability for computers机器学习例子：     数据挖掘：         Large datasets from growth of automation/web         E.g.，Web click data，medical records，biology，e...