大数据精读周刊

文章目录引言机器学习是什么?机器学习算法的类型有监督学习(Supervised learning):无监督学习(Unsupervised learning):半监督学习（Semi-Supervised Learning）:强化学习(Reinforcement learning):监督学习回归分析(Regression Analysis)：分类（Classification）：无监督学习 引言 机器学习是什么? 机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼

文章目录单变量线性回归(Linear Regression with one Variable )代价函数 Cost Function代价函数的直观理解梯度下降-Gradient Descent 单变量线性回归(Linear Regression with one Variable ) 在这里，我要根据不同房屋尺寸所售出的价格，画出我的数据集。比方说，如果你朋友的房子是 1250 平方尺大小，你要告诉他们这房子能卖多少钱。那么，你可以做的一件事就是构建一个模型，也许是条直线，从这个数据模型上来看，也许你可以

文章目录线性代数回顾(Linear Algebra Review)加法和标量乘法矩阵向量乘法矩阵乘法的性质逆、转置 线性代数回顾(Linear Algebra Review) A [ij] 指第i行，第 j列的元素。 加法和标量乘法 A + B =B + A (A +B)+C=A+(B+C) 矩阵向量乘法 矩阵乘法的性质 矩阵的乘法不满足交换律：A×B≠B×A 矩阵的乘法满足结合律。即：A×（B×C）=（A×B）×C 单位矩阵：在矩阵的乘法中，有一种矩阵起着特殊的作用，如同数的乘法中的

多变量线性回归( Linear Regression with Multiple Variables) 多维特征 KaTeX parse error: No such environment: align* at position 8: \begin{̲a̲l̲i̲g̲n̲*̲}̲x_j^{(i)} &= \t… hθ(x)=θ0+θ1x1+θ2x2+θ3x3+⋯+θnxn h_\theta (x) = \theta_0 + \theta_1 x_1 + \theta_2 x_2 + \thet

Octave 教程(Octave Tutorial) Octave是一种编程语言，旨在解决线性和非线性的数值计算问题。Octave为GNU项目下的开源软件，早期版本为命令行交互方式，4.0.0版本发布基于QT编写的GUI交互界面。Octave语法与Matlab语法非常接近，可以很容易的将matlab程序移植到Octave。同时与C++，QT等接口较Matlab更加方便。 基本操作 ubuntu 安装Octave sudo apt-get update sudo apt-get install oc

逻辑回归( Logistic Regression) Classification 在分类问题中，你要预测的变量 y 是离散的值，我们将学习一种叫做逻辑回归 (Logistic Regression) 的算法，这是目前最流行使用最广泛的一种学习算法。 在分类问题中，我们尝试预测的是结果是否属于某一个类（例如正确或错误）。 分类问题的例子有：判断一封电子邮件是否是垃圾邮件；判断一次金融交易是否是欺诈；之前我们 也谈到了肿瘤分类问题的例子，区别一个肿瘤是恶性的还是良性的。 如果我们要用线性回归算法来解

逻辑回归( Logistic Regression) Classification 在分类问题中，你要预测的变量 y 是离散的值，我们将学习一种叫做逻辑回归 (Logistic Regression) 的算法，这是目前最流行使用最广泛的一种学习算法。 在分类问题中，我们尝试预测的是结果是否属于某一个类（例如正确或错误）。 分类问题的例子有：判断一封电子邮件是否是垃圾邮件；判断一次金融交易是否是欺诈；之前我们 也谈到了肿瘤分类问题的例子，区别一个肿瘤是恶性的还是良性的。 如果我们要用线性回归算法来解

正则化Regularization 过拟合的问题 The Problem of Overfitting 第一个模型是一个线性模型，欠拟合，不能很好地适应我们的训练集；第三个模型是一个四次方的模型，过于强调拟合原始数据，而丢失了算法的本质：预测新数据。 我们可以看出，若给出一个新的值使之预测，它将表现的很差，是过拟合，虽然能非常好地适应我们的训练集但在新输入变量进行预测时可能会效果不好；而中间的模型似乎最合适。 就以多项式理解，x的次数越高，拟合的越好，但相应的预测的能力就可能变差。 问题是，如果我们发现了

神经网络：表述( Neural Networks: Representation) 神经网络：表述 Neural Networks: Representation 当我们使用 x 1 、x 2 的多次项式进行预测时，我们可以应用的很好。 之前我们已经看到过，使用非线性的多项式项，能够帮助我们建立更好的分类模型。假 设我们有非常多的特征，例如大于 100 个变量，我们希望用这 100 个特征来构建一个非线性 的多项式模型，结果将是数量非常惊人的特征组合，即便我们只采用两两特征的组合 （x 1 x 2 +x

神经网络的学习( Neural Networks Learning) Cost Function 代价函数 首先引入一些便于稍后讨论的新标记方法：假设神经网络的训练样本有 m 个，每个包含一组输入 x 和一组输出信号 y，L 表示神经网络层数，S l 表示每层的 neuron 个数(SL 表示输出层神经元个数)，S L 代表最后一层中处理 单元的个数。 将神经网络的分类定义为两种情况：二类分类和多类分类，二类分类：S L =1, y=0 or 1 表示哪一类； K 类分类：S L =K, y i =

应用机器学习的建议Advice for Applying Machine Learning Deciding What to Try Next 具体来讲，我将重点关注的问题是假如你在开发一个机器学习系统，或者想试着改进一个机器学习系统的性能，你应如何决定接下来应该选择哪条道路？为了解释这一问题，我想仍然使用预测房价的学习例子，假如你已经完成了正则化线性回归，也就是最小化代价函数 J 的值，假如，在你得到你的学习参数以后，如果你要将你的假设函数放到一组新的房屋样本上进行测试，假如说你发现在预测房价时产生了巨大

机器学习系统的设计Machine Learning System Design Prioritizing What to Work On 本周以一个垃圾邮件分类器算法为例进行讨论。 为了解决这样一个问题，我们首先要做的决定是如何选择并表达特征向量 x。我们可以选择一个由 100 个最常出现在垃圾邮件中的词所构成的列表，根据这些词是否有在邮件中出现，来获得我们的特征向量（出现为 1，不出现为 0），尺寸为 100×1。 为了构建这个分类器算法，我们可以做很多事，例如： 1. 收集更多的数据，让我们有更多的垃

ml-7-1-支持向量机( Support Vector Machines) Optimization Objective 优化目标 在监督学习中，许多学习算法的性能都非常类似，因此，重要的不是你该选择使用学习算法 A 还是学习算法 B，而更重要的是，应用这些算法时，所创建的大量数据在应用这些算法时，表现情况通常依赖于你的水平。比如：你为学习算法所设计的特征量的选择，以及如何选择正则化参数，诸如此类的事。还有一个更加强大的算法广泛的应用于工业界和学术界，它被称为支持向量机(Support VectorM

ml-8-1-聚类( ( Clustering) ) 无监督学习 Unsupervised Learning_ Introduction 在这个视频中，我将开始介绍聚类算法。这将是一个激动人心的时刻，因为这是我们学习的第一个非监督学习算法。我们将要让计算机学习无标签数据，而不是此前的标签数据。 那么，什么是非监督学习呢？在课程的一开始，我曾简单的介绍过非监督学习，然而，我们还是有必要将其与监督学习做一下比较。 在一个典型的监督学习中，我们有一个有标签的训练集，我们的目标是找到能够区分正样本和负样本的决策边界

降维(Dimensionality Reduction) Motivation I_ Data Compression数据压缩 无监督学习问题，称为降维。有几个不同的的原因使你可能想要做降维。一是数据压缩，后面我们会看了一些视频后，数据压缩不仅允许我们压缩数据，因而使用较少的计算机内存或磁盘空间，但它也让我们加快我们的学习算法。 但首先，让我们谈论降维是什么。作为一种生动的例子，我们收集的数据集，有许多，许多特征，我绘制两个在这里。 假设我们未知两个的特征 x 1 :长度：用厘米表示；X 2 ，是用英寸表

异常检测(Anomaly Detection) Problem Motivation 这是机器学习算法的一个常见应用。这种算法的一个有趣之处在于：它虽然主要用于非监督学习问 题，但从某些角度看，它又类似于一些监督学习问题。 什么是异常检测呢？为了解释这个概念，让我举一个例子吧： 假想你是一个飞机引擎制造商，当你生产的飞机引擎从生产线上流出时，你需要进行 QA(质量控制测试)，而作为这个测试的一部分，你测量了飞机引擎的一些特征变量，比如引擎运转时产生的热量，或者引擎的振动等等。 这样一来，你就有了一个数据集

推荐系统( ( Recommender Systems) ) 问题形式化Problem Formulation 从一个例子开始定义推荐系统的问题。假使我们是一个电影供应商，我们有 5 部电影和 4 个用户，我们要求用户为电影打分。 前三部电影是爱情片，后两部则是动作片，我们可以看出 Alice 和 Bob 似乎更倾向与爱 情片， 而 Carol 和 Dave 似乎更倾向与动作片。并且没有一个用户给所有的电影都打过分。 我们希望构建一个算法来预测他们每个人可能会给他们没看过的电影打多少分，并以此作为 推荐的

规模机器学习( ( Large Scale Machine Learning) ) 大型数据集的学习Learning With Large Datasets 如果我们有一个低方差的模型，增加数据集的规模可以帮助你获得更好的结果。我们应 该怎样应对一个有 100 万条记录的训练集？ 以线性回归模型为例，每一次梯度下降迭代，我们都需要计算训练集的误差的平方和， 如果我们的学习算法需要有 20 次迭代，这便已经是非常大的计算代价。 首先应该做的事是去检查一个这么大规模的训练集是否真的必要，也许我们只用 1000

应用实例-图片 文字识别( ( Application Example-Photo OCR) ) 问题描述和流程图Problem Description and Pipeline 图像文字识别应用所作的事是，从一张给定的图片中识别文字。这比从一份扫描文档中 识别文字要复杂的多 为了完成这样的工作，需要采取如下步骤： 文字侦测（Text detection）——将图片上的文字与其他环境对象分离开来 字符切分（Character segmentation）——将文字分割成一个个单一的字符 字符分类（Chara

Reinforcement learningAn interactive notebook training Keras to play CatchThis is an interactive version ofEder Santana'sKeras plays catch, a single file Reinforcement Learning example. The first in...

笔者之前在学习TensorFlow，也在自己的笔记本上完成了安装，在PyCharm中进行学习。但是最近为了使用python的科学计算环境，我把之前的环境卸载了，并用Anaconda重新安装了TensorFlow，由于自己的笔记本已经很旧了，显卡不行，所以这里介绍一下cpu版本的安装方法和自己遇到的一些坑，截图甚多。 这里直接上干货： 1.安装Anaconda 选择相应的Anaco

如果报错了 : Fatal error: Call to undefined function getimagesizefromstring()

智能云平台Openstack 正在使用PHP7 Openstack 是一个云端操作系统,我们将会学习使用linux和php7的环境尽可能的最大化的发挥该系统的全部功能. 原地址:http://www.webcentreplus.co.uk/web-news/business/automating-openstack-using-php7/