LW_ICE

人工智能研发的一个大方向是用AI系统来自动化开发AI系统。虽然这一目标尚未实现，但目前的进展让已足够令人人震惊。本文介绍了最新的一些进展，包括伯克利让算法自我优化、MIT自动生成神经网络架构，以及在这方面走得最远的 DeepMind 让算法“学习强化学习”。2011年硅谷最有影响的技术投资人 Marc Andreessen 一篇“Why Software Is Eating The W

回归模块回归模块中提供了批量梯度下降和随机梯度下降两种学习策略来训练模型：# coding: utf-8# linear_regression/regression.pyimport numpy as npimport matplotlib as pltimport timedef exeTime(func): """ 耗时计算装饰器 """ def ...

特征缩放引子在前一章节中，对房屋售价进行预测时，我们的特征仅有房屋面积一项，但是，在实际生活中，卧室数目也一定程度上影响了房屋售价。下面，我们有这样一组训练样本：房屋面积（英尺） 卧室数量（间） 售价（美元） 2104 3 399900 1600 3 329900 2400 3 369000 1416 2 23...

程序示例--多项式回归下面，我们有一组温度（temperature）和实验产出量（yield）训练样本，该数据由博客 Polynomial Regression Examples 所提供：temperature yield 50 3.3 50 2.8 50 2.9 70 2.3 70 2.6 70 2.1 80 2...

欠拟合与过拟合问题在上一节中，我们利用多项式回归获得更加准确的拟合曲线，实现了对训练数据更好的拟合。然而，我们也发现，过渡地对训练数据拟合也会丢失信息规律。首先，引出两个概念： 欠拟合（underfitting）：拟合程度不高，数据距离拟合曲线较远，如下左图所示。 过拟合（overfitting）：过度拟合，貌似拟合几乎每一个数据，但是丢失了信息规律，如下右图所示，房价随着...

程序示例--局部加权线性回归现在，我们在回归中又添加了 JLwr() 方法用于计算预测代价，以及 lwr() 方法用于完成局部加权线性回归：# coding: utf-8# linear_regression/regression.py# ...def JLwr(theta, X, y, x, c): """局部加权线性回归的代价函数计算式 Args: ...

 

 

假定我们现有一大批数据，包含房屋的面积和对应面积的房价信息，如果我们能得到房屋面积与房屋价格间的关系，那么，给定一个房屋时，我们只要知道其面积，就能大致推测出其价格了。上面的问题还可以被描述为：“OK，我具备了很多关于房屋面积及其对应售价的知识（数据），再通过一定的学习，当面对新的房屋面积时，我不再对其定价感到束手无策”。通常，这类预测问题可以用回归模型（regression）进行...

2.神经网络有什么牛逼之处?机器学习算法这么多，为什么神经网络这么牛逼?为了解释这个问题，我们呈现了神经网络在分类问题上优于逻辑回归的地方——它几乎可以实现任意复杂的分类边界，无误差地实现训练集上的分类。然而，这是有代价的：由于其强大的拟合能力，极容易产生过拟合。为了降低过拟合，我们介绍了一种降低过拟合的思路。在这个过程中，我们尽量解释神经网络每一步操作对应的现实意

要让读者在不看任何数学公式的情况下理解傅里叶分析。傅里叶分析不仅仅是一个数学工具，更是一种可以彻底颠覆一个人以前世界观的思维模式。但不幸的是，傅里叶分析的公式看起来太复杂了，所以很多大一新生上来就懵圈并从此对它深恶痛绝。老实说，这么有意思的东西居然成了大学里的杀手课程，不得不归咎于编教材的人实在是太严肃了。（您把教材写得好玩一点会死吗？会死吗？）所以我一直想写一个有意思的文章来解释傅里叶分

声明：如需转载，请标明来源！！！！！！With that using an RNN should be as easy as calling a function, right? Unfortunately that’s not quite the case. In this post I want to go over some of the best practices for worki...

Recurrent Neural Networks (RNNs) are popular models that have shown great promise in many NLP tasks. But despite their recent popularity I’ve only found a limited number of resources that throughly ex...

There’s something magical about Recurrent Neural Networks (RNNs). I still remember when I trained my first recurrent network for Image Captioning. Within a few dozen minutes of training my first baby ...

 Code to follow along is on Github.In this part we will implement a full Recurrent Neural Network from scratch using Python and optimize our implementation using Theano, a library to perform operati...

This the third part of the Recurrent Neural Network Tutorial.In the previous part of the tutorial we implemented a RNN from scratch, but didn’t go into detail on how Backpropagation Through Time (BP...

The code for this post is on Github. This is part 4, the last part of the Recurrent Neural Network Tutorial. The previous parts are:Recurrent Neural Networks Tutorial, Part 1 – Introduction to RNNs...

本书为斯坦福吴恩达教授的在 coursera 上的机器学习公开课的知识笔记，涵盖了大部分课上涉及到的知识点和内容。本书的章节安排与课程对应关系为：斯坦福课程 本书章节 Week 2 线性回归 Week 3 逻辑回归 Week 4-5 神经网络 Week 6 算法分析与优化 Week 7 SVM（支持向量机） Week 8 K...

 

程序示例--线性决策边界回归模块在逻辑回归模块 logical_regression.py 中，实现了批量梯度下降法（bgd）以及随机梯度下降法（sgd），同时，支持正规化方程# coding: utf-8# logical_regression/logical_regression.pyimport numpy as npimport matplotlib as pltim...

神经网络解决多分类问题假定我们需要将图像分为四类：行人图像 车辆图像 摩托车图像 卡车图像这是一个多分类问题，由于图像特征较多，因此我们可以考虑设计含有多个隐含层的神经网络来完成特征优化（扩展）：注意，我们设计了一个含有多个输出的神经网络，亦即，我们会用01的组合来定义不同的分类：而不是使用标量来定义分类，这样使得我们容易利用上简单的 sigmoid 函数来进行...

在神经网络的结构设计方面，往往遵循如下要点：输入层的单元数等于样本特征数。 输出层的单元数等于分类的类型数。 每个隐层的单元数通常是越多分类精度越高，但是也会带来计算性能的下降，因此，要平衡质量和性能间的关系。 默认不含有隐藏层(感知器)，如果含有多个隐层，则每个隐层上的单元数最好保持一致。因此，对于神经网络模块，我们考虑如下设计：设计 sigmoid 函数作为激励函数：d...

程序示例--逻辑运算我们使用感知器神经网络来描述逻辑AND运算：代码：# coding: utf-8# neural_network/test_logic_and.py"""逻辑AND运算"""import nnimport numpy as npdata = np.mat([ [0, 0, 0], [1, 0, 0], [0, 1, 0],...

我们手上包含有手写字符的数据集，该数据集来自斯坦福机器学习的课后作业，每个字符图片大小为20×2020×20，总的样本规模为5000×4005000×400，我们的神经网络设计如下，包含 1 个隐含层，隐层含 25 个神经元，：# coding: utf-8# neural_network/test_handwritten_digits.py"""手写字符集"""im...

陷入不归路的调试在线性回归中，我们使用了如下的代价函数来评估预测误差：想要降低预测误差，即提高预测精度，我们往往会采用这些手段：手段 评价 采集更多的样本 我们认为见多识广会让人变得聪明，但是也会让人变得优柔寡断，或者聪明反被聪明误。 降低特征维度 也许被降掉的维度会是非常有用的知识。 采集更多的特征 增加了计算负担，也可能导致过拟合。 进行...

总结现在，通过诊断模型是出现了高偏差还是高方差问题，我们对于在陷入不归路的调试中提到算法优化手段有了各自的使用场景：手段 使用场景 采集更多的样本 高方差 降低特征维度 高方差 采集更多的特征 高偏差 进行高次多项式回归 高偏差 降低参数λλ 高方差 增大参数λλ 高偏差 ...

机器学习系统设计--垃圾邮件分类假定我们现有一封邮件，其内容如下：From: cheapsales@buystufffromme.comTo: ang@cs.stanford.eduSubject: Buy now!Deal of the week!Buy now!Rolex w4ches - $100Med1cine (any kind) - $50Also low co...

查准率（Precision）与召回率（Recall）从上面的例子我们知道，单纯地使用误差（Error）并不能完善地评价模型好坏，现在引入两个重要的评价指标：（1）查准率（Precision）；（2）召回率（Recall），并定义：阳性（Positive）：表示正样本。当预测和实际都为正样本时，表示真阳性（True Positive）；如果预测为正样本，而实际为负样本，则表示假阳性（Fa...

程序示例--非线性决策边界我们首先对数据进行了多项式拟合，再分别使用 λ=0,λ=1,λ=100λ=0,λ=1,λ=100 的批量梯度下降法（sgd）完成了训练，获得了非线性决策边界：# coding: utf-8# logical_regression/test_non_linear_boundry.pyimport numpy as npimport logical_regre...

程序示例--多分类问题我们采用 One-vs-All 方法来进行多分类，在原有的逻辑回归模块中添加 One-vs-All 的训练以及预测方法：# coding: utf-8# logical_regression/logical_regression.py# ...def oneVsAll(X, y, options): """One-vs-All 多分类 A...

 

神经网络概述人体神经元模型神经元的可以分为四个区域：接收区（receptive zone）：树突接收到输入信息。 触发区（trigger zone）：位于轴突和细胞体交接的地方，决定是否产生神经冲动。 传导区（conducting zone）：由轴突进行神经冲动的传递。 输出区（output zone）：神经冲动的目的就是要让神经末梢，突触的神经递质或电力释出，才能影响下一个...