- 博客(15)
- 收藏
- 关注
RSS订阅原创 机器学习日记（14）
应用实例：图片文字识别(Application Example: Photo OCR)问题描述和流程图图像文字识别应用所作的事是，从一张给定的图片中识别文字。这比从一份扫描文档中识别文字要复杂的多。为了完成这样的工作，需要采取如下步骤：1.文字侦测（Text detection）——将图片上的文字与其他环境对象分离开来2.字符切分（Character segmentation）——将文字分割成一个个单一的字符3.字符分类（Character classification）——确定每一个字符是什
2022-02-11 01:03:52
188
原创 机器学习日记（14）
大规模机器学习(Large Scale Machine Learning)大型数据集的学习如果我们有一个低方差的模型，增加数据集的规模可以帮助你获得更好的结果。我们应该怎样应对一个有 100 万条记录的训练集？以线性回归模型为例，每一次梯度下降迭代，我们都需要计算训练集的误差的平方和，如果我们的学习算法需要有 20 次迭代，这便已经是非常大的计算代价。首先应该做的事是去检查一个这么大规模的训练集是否真的必要，也许我们只用 1000个训练集也能获得较好的效果，我们可以绘制学习曲线来帮助判断。随机
2022-02-11 00:57:13
174
原创 机器学习日记（13）
推荐系统(Recommender Systems)问题形式化推荐系统是个有趣的问题，在学术机器学习中因此，我们可以去参加一个学术机器学习会议，推荐系统问题实际上受到很少的关注，或者，至少在学术界它占了很小的份额。但是，如果你看正在发生的事情，许多有能力构建这些系统的科技企业，他们似乎在很多企业中占据很高的优先级。这是我为什么在这节课讨论它的原因之一。我想讨论推荐系统地第二个原因是：这个班视频的最后几集我想讨论机器学习中的一些大思想，并和大家分享。这节课我们也看到了，对机器学习来说，特征是很重要的，你
2022-02-11 00:43:25
202
原创 机器学习日记（12）
机器学习日记（12）异常检测(Anomaly Detection)问题的动机异常检测(Anomaly detection)问题是机器学习算法的一个常见应用。这种算法的一个有趣之处在于：它虽然主要用于非监督学习问题，但从某些角度看，它又类似于一些监督学习问题。什么是异常检测呢？为了解释这个概念，举一个例子：假想你是一个飞机引擎制造商，当生产的飞机引擎从生产线上流出时，需要进行QA(质量控制测试)，而作为这个测试的一部分，你测量了飞机引擎的一些特征变量，比如引擎运转时产生的热量，或者引擎的振动等等
2022-02-09 02:03:11
195
原创 机器学习日记（11）
机器学习日记（11）降维(Dimensionality Reduction)动机一：数据压缩（Data Compression）第二种类型的无监督学习问题称为降维。有几个不同的的原因使你可能想要做降维。一是数据压缩，数据压缩不仅允许我们压缩数据，并因此使用较少的计算机内存或磁盘空间，而且它也让我们加快我们的学习算法。但首先，让我们谈论降维是什么。以下为两个例子：假设我们未知两个的特征：????1:长度：用厘米表示；????2：是用英寸表示同一物体的长度。所以，这给了我们高度冗余表示，也许不是两个分
2022-02-05 01:35:12
250
原创 机器学习日记（10）
机器学习日记（10）聚类(Clustering)在一个典型的监督学习中，我们有一个有标签的训练集，我们的目标是找到能够区分正样本和负样本的决策边界，在这里的监督学习中，我们有一系列标签，我们需要据此拟合一个假设函数。与此不同的是，在非监督学习中，我们的数据没有附带任何标签，我们拿到的数据就是这样的：在图上有一系列点，却没有标签。因此，我们的训练集可以写成只有????(1),????(2)……一直到????(????)。我们没有任何标签????。因此，图上画的这些点没有标签信息。也就是说，在无监督
2022-02-04 21:39:32
199
原创 机器学习日记（9）
机器学习日记（9）支持向量机(Support Vector Machines)优化目标(Optimization Objective)在逻辑回归中我们已经熟悉了这里的假设函数形式，和右边的S型激励函数。然而，为了解释一些数学知识,将用???? 表示????????????。现在考虑下我们想要逻辑回归做什么：如果有一个 ???? = 1的样本，不管是在训练集中或是在测试集中，又或者在交叉验证集中，总之是 ???? = 1，现在我们希望ℎ????(????) 趋近1。因为我们想要正确地将此样本分类，这
2022-02-03 19:21:01
1096
原创 机器学习日记（8）
机器学习日记（8）误差分析（Error Analysis）以一个垃圾邮件分类器算法为例进行讨论。为了解决这样一个问题，我们首先要做的决定是如何选择并表达特征向量????。我们可以选择一个由 100 个最常出现在垃圾邮件中的词所构成的列表，根据这些词是否有在邮件中出现，来获得我们的特征向量（出现为 1，不出现为 0），尺寸为 100×1。为了构建这个分类器算法，我们可以做很多事，例如：1、收集更多的数据，让我们有更多的垃圾邮件和非垃圾邮件的样本2、基于邮件的路由信息开发一系列复杂的特征3、 基于邮
2022-01-16 01:01:13
179
原创 机器学习日记（7）
机器学习日记（7）机器学习系统的开发与性能改进假如你在开发一个机器学习系统，或者想试着改进一个机器学习系统的性能，你应如何决定接下来应该选择哪条道路？为了解决这一问题，我想仍然使用预测房价的学习例子，假如你已经完成了正则化线性回归，也就是最小化代价函数????的值，在你得到你的学习参数以后，你将你的假设函数放到一组新的房屋样本上进行测试，你发现在预测房价时产生了巨大的误差，现在你的问题是要想改进这个算法，接下来应该怎么办？实际上你可以想出很多种方法来改进这个算法的性能，其中一种普遍的办法是使用更多的
2022-01-15 23:57:10
895
原创 机器学习日记（6）
机器学习日记（6）神经网络的学习(Neural Networks: Learning)代价函数（Cost Function）首先引入一些便于稍后讨论的新标记方法：假设神经网络的训练样本有????个，每个包含一组输入????和一组输出信号????，????表示神经网络层数，????????表示每层的 neuron 个数(????l表示输出层神经元个数)，????????代表最后一层中处理单元的个数。将神经网络的分类定义为两种情况：二类分类和多类分类，二类分类：???????? = 0, ????
2022-01-14 16:32:46
359
原创 机器学习日记（5）
机器学习日记（5）神经网络：表述(Neural Networks: Representation)非线性假设（Non-linear Hypotheses）我们之前学的，无论是线性回归还是逻辑回归都有这样一个缺点，即：当特征太多时，计算的负荷会非常大下面是一个例子：当我们使用????1, ????2 的多次项式进行预测时，我们可以应用的很好。之前我们已经看到过，使用非线性的多项式项，能够帮助我们建立更好的分类模型。假设我们有非常多的特征，例如大于 100 个变量，我们希望用这 100 个特征来构
2022-01-13 01:13:22
160
原创 机器学习日记（4）
机器学习日记（4）过拟合(over-fitting)到现在为止，我们已经学习了几种不同的学习算法，包括线性回归和逻辑回归，它们能够有效地解决许多问题，但是当将它们应用到某些特定的机器学习应用时，会遇到过拟合(over-fitting)的问题，可能会导致它们效果很差。如果我们有非常多的特征，我们通过学习得到的假设可能能够非常好地适应训练集（代价函数可能几乎为 0），但是可能会不能推广到新的数据。要解决这种问题，可以采取正则化(regularization)的技术，它可以改善或者减少过度拟合问题。下图是
2022-01-12 12:27:00
190
原创 机器学习日记（3）
机器学习日记（3）本次我们将讨论分类问题及分类问题中的主要算法逻辑回归分类问题（Classification）在分类问题中，我们尝试预测的是结果是否属于某一个类（例如正确或错误）。分类问题的例子有：判断一封电子邮件是否是垃圾邮件；判断一次金融交易是否是欺诈；之前我们也谈到了肿瘤分类问题的例子，区别一个肿瘤是恶性的还是良性的。典型的分类问题有二分类与多分类，我们从二分类开始讨论二分类（Binaray Classification）我们将因变量(dependent variable)可能属于的两个
2022-01-10 17:34:37
472
原创 机器学习日记（2）
机器学习日记（2）本次我们将以单变量线性回归为起点，讨论其算法及机器学习的一些指标。单变量线性回归(Linear Regression with One Variable)让我们通过一个例子来开始：这个例子是预测住房价格的，我们要使用一个数据集，数据集包含俄勒冈州波特兰市的住房价格。在这里，我要根据不同房屋尺寸所售出的价格，画出我的数据集。比方说，如果你朋友的房子是 1250 平方尺大小，你要告诉他们这房子能卖多少钱。那么，你可以做的一件事就是构建一个模型，也许是条直线，从这个数据模型上来看，也许你可
2022-01-09 14:17:19
566
原创 机器学习日记（1）
机器学习日记（1）机器学习是什么？机器学习（Machine Learning）致力于研究如何通过计算的手段，模拟或实现人类的学习行为，以获取新的知识或技能，并以此来改善系统自身的性能。一个经典的机器学习的定义为：一个程序被认为能从经验E中学习，解决任务 T，达到性能度量值P，当且仅当，有了经验E后，经过P评判， 程序在处理T时的性能有所提升。机器学习的最主要的两类算法根据训练数据是否有标记信息可划分为监督学习（Supervised learning）和无监督学习（Unsupervised learn
2022-01-09 10:35:30
295
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人