fioccy的专栏

第一章 机器学习概述当大多数人听到“机器学习“的字眼时，他们往往会想到机器人：一个可靠的管家，或者致命的终结者，这取决于你问谁。但是机器学习不仅仅是科幻，它已经真实存在。事实上，在一些特定的应用中，它已经存在了几十年了，比如OCR(光学字符识别)。但是第一个真正成为主流的，改变成千上万人生活的机器学习应用可以追溯到20世纪90年代：即垃圾邮件过滤。尽管它不是一个有着自我意识的天网程序，但是从技术...

第一章 机器学习概述为什么要使用机器学习思考一下，如果使用传统的软件编程技术，该如何编写一个垃圾邮件过滤器？：首先你需要观察典型的垃圾邮件都有哪些特征。也许你会注意到，一些特定的单词或者短语在标题中出现的较多。或者你还会在发件人，邮件内容中发现的一些特定的模式。你要写一个检测算法，对你所发现的所有特征一一检验，如果在邮件中检验到了一定数量的特性，则会把它标记为垃圾邮件。你还需...

机器学习概述机器学习的类型基于以下角度，可以把机器学习分为不同的类型，进而进行更细致的分类：训练过程中是否有人工的监督（有监督学习，无监督学习，半监督学习，强化学习）能否即时的持续学习（在线学习VS批量学习）工作方式是简单的比较新数据点和已知数据点，还是检测训练集中的模型进而建立起预测模型（基于例子的学习VS基于模型的学习）这些分类不是互斥的，你可以任意组合。例如，一个垃圾邮件和正...

机器学习概述机器学习的主要挑战简单来说，机器学习的主要任务就是挑选一个算法，并在数据集上训练它。因此，就有两个方面主要的问题：坏数据和坏算法。训练数据数量不够要教一个幼儿学习什么是苹果，你只需要指着一个苹果说“这是苹果”，多重复几次，小孩子就能认出各种各样苹果了，但是机器学习不是这样的，大多数机器学习算法要想正常工作，都需要大量的数据。即使对于非常简单的问题，往往也需要上千组数据，对于一些...

端到端机器学习项目对问题进行宏观的分析欢迎来到机器学习房地产公司。你的第一个任务是基于加州人口普查的数据建立一个加州房价的模型。这些数据内容包含有加州每个街区的人口、收入中位数、房价中位数等等。要求你的模型能够学习这些数据并在给定其他数据内容的情况下，预测任何一个街区的房价中位数。限定问题的边界第一个要提出的问题就是这件事的最终目标是什么，显然单纯构建一个模型并不是最终的目标，公司准备如何...

端到端机器学习项目本章，你将扮演一个新入职的房地产行业的数据分析专家，完成一个端到端的项目。主要的步骤有：对问题进行宏观的分析获取数据观察、发现数据中的细节为机器学习算法准备数据选择并训练一个模型微调模型提交解决方案上线、监测和维护系统玩真的搞机器学习，最好使用真实的数据。幸运的是，有数千个开放的数据库可供我们选择，涵盖了各行各业。本章我们选择加州的房价数据库作为练习数据...

端到端机器学习项目获取数据下载数据可以直接使用浏览器下载数据文件，然后解压出其中的CSV文件，但是更好的办法是写一个函数来实现它，特别是当数据会变化的时候，使用函数的形式能够随时随地获取最新的数据。import pdb# pdb.set_trace()import osimport tarfilefrom six.moves import urllibDOWNLOAD_ROO...