AI 算法笔记

原文：https://hippocampus-garden.com/kaggle_colab/原文标题：How to Kaggle with Colab Pro & Google Drive译文作者：kbsc13联系方式：Github：https://github.com/ccc013/AI_algorithm_notes微信公众号：AI 算法笔记前言Colab Pro(目前仅在美国、加拿大、日本、巴西、德国、法国、印度、英国和泰国可用)提供了随时可用和加速但是维护起来既昂贵又繁琐的云

原文：http://theorangeduck.com/page/neural-network-not-working原文标题：My Neural Network isn’t working! What should I do?译文作者：kbsc13联系方式：Github：https://github.com/ccc013知乎专栏：机器学习与计算机视觉，AI 论文笔记微信公众号：AI 算法笔记前言如果你的神经网络不收敛，应该怎么办呢？一般来说，神经网络不收敛的原因有以下 11 种原因：

前言开始重新巩固一下机器学习的内容，先从基本的一些概念和定义开始。本文介绍的内容如下所示：机器学习的基本定义局部最优和全局最优机器学习、深度学习、数据挖掘、大数据之间的关系为什么要使用机器学习1. 机器学习的基本定义机器学习算法是一种能够从数据中学习的算法。那么这里的学习的定义是什么呢？这里有一个简单的定义：对于某类任务 T 和性能度量 P，一个计算机程序通过经验 E 改进后，在任务 T 上由性能度量 P 衡量的性能有所提升，这称为学习。举例来说这个定义，比如对于图像分类这个任

开始复习 AI 算法的基础–数学部分，主要是三方面的内容：线性代数概率论微积分参考内容如下：《深度学习》https://github.com/scutan90/DeepLearning-500-questionshttps://github.com/sladesha/Reflection_Summary本文是第一篇，线性代数部分的内容，主要是比较基础部分的学习笔记。1. 线性代数1.1 向量和矩阵1.1.1 标量、向量、矩阵、张量之间的联系标量（scalar）一个标量表示一

上一篇文章–[GAN学习系列3]采用深度学习和 TensorFlow 实现图片修复(上）中，我们先介绍了对于图像修复的背景，需要利用什么信息来对缺失的区域进行修复，以及将图像当做概率分布采样的样本来看待，通过这个思路来开始进行图像的修复。这篇文章将继续介绍原文的第二部分，利用对抗生成网络来快速生成假图片。目录如下：第二步：快速生成假的图片从未知的概率分布中学习生成新的样本[ML-Hea...

在之前的两篇 GAN 系列文章–[GAN学习系列1]初识GAN以及[GAN学习系列2] GAN的起源中简单介绍了 GAN 的基本思想和原理，这次就介绍利用 GAN 来做一个图片修复的应用，主要采用的也是 GAN 在网络结构上的升级版–DCGAN，最初始的 GAN 采用的还是神经网络，即全连接网络，而 DCGAN 则是换成卷积神经网络（CNNs）了，这可以很好利用 CNN 强大的特征提取能力，更好的...

这是本文的最后一部分内容了，前两部分内容的文章：[GAN学习系列3]采用深度学习和 TensorFlow 实现图片修复(上）[GAN学习系列3]采用深度学习和 TensorFlow 实现图片修复(中）以及原文的地址：http://bamos.github.io/2016/08/09/deep-completion/最后一部分的目录如下：第三步：为图像修复寻找最佳的假图片利用 ...

之前推荐过一个基于 TensorFlow 的 GAN 框架–谷歌开源的 GAN 库–TFGAN。而最近也有一个新的 GAN 框架工具，并且是基于 Pytorch 实现的，项目地址如下：https://github.com/torchgan/torchgan对于习惯使用 Pytorch 框架的同学，现在可以采用这个开源项目快速搭建一个 GAN 网络模型了！目前该开源项目有 400+ 星，它...

上周分享了一份 TensorFlow 官方的中文版教程，这次分享的是在 Github 上的一份简单易懂的教程，项目地址是：https://github.com/open-source-for-science/TensorFlow-Course#why-use-tensorflow如下图所示，已经有超过7000的 Star了这个仓库的目标是提供一份简单且容易上手的 TensorFlow 教程...

技术的提高是需要日积月累的努力，除了看书看视频外，一个很有效的提高方法当然就是阅读大牛的博客文章了，所谓听君一席话，胜读十年书，虽然读大牛的文章没有这么夸张，但也可以让你解决技术上的一些难题，可以学习大牛的学习方法和思维方式，受益匪浅！接下来会介绍一些 AI 和深度学习方面的博客。原文：Must-read Blogs for AI and Deep Learning Enthusiasts...

采用 TensorFlow 的时候，有时候我们需要加载的不止是一个模型，那么如何加载多个模型呢？原文：https://bretahajek.com/2017/04/importing-multiple-tensorflow-models-graphs/关于 TensorFlow 可以有很多东西可以说。但这次我只介绍如何导入训练好的模型（图），因为我做不到导入第二个模型并将它和第一个模型一起...

本文大约 8000 字，阅读大约需要 12 分钟第一次翻译，限于英语水平，可能不少地方翻译不准确，请见谅！最近谷歌开源了一个基于 TensorFlow 的库–TFGAN，方便开发者快速上手 GAN 的训练，其 Github 地址如下：https://github.com/tensorflow/models/tree/master/research/gan原文网址：Generative ...

本文大约 5000 字，阅读大约需要 10 分钟这是 GAN 学习系列的第二篇文章，这篇文章将开始介绍 GAN 的起源之作，鼻祖，也就是 Ian Goodfellow 在 2014 年发表在 ICLR 的论文–Generative Adversarial Networks”，当然由于数学功底有限，所以会简单介绍用到的数学公式和背后的基本原理，并介绍相应的优缺点。基本原理在[GAN学习系列...

本文大约 600 字， 阅读大约需要 2 分钟吴恩达老师在上个月底宣布终于完成了他最新的书籍《Machine Learning Yearning》的最后几个章节：而最近这本书也有了免费的完整中文版下载了，中文版的名称是《机器学习训练秘籍》，封面如下：正如书名所言，这本书主要介绍的就是机器学习训练中的一些技巧和注意事项，包括如何设置训练集和测试集、处理偏差和方差问题等。目录如下所示：...

本文大约 3800 字，阅读大约需要 8 分钟要说最近几年在深度学习领域最火的莫过于生成对抗网络，即 Generative Adversarial Networks(GANs)了。它是 Ian Goodfellow 在 2014 年发表的，也是这四年来出现的各种 GAN 的变种的开山鼻祖了，下图表示这四年来有关 GAN 的论文的每个月发表数量，可以看出在 2014 年提出后到 2016 年相...

这是本系列的第二篇，也是机器学习概览的下半部分，主要内容如下所示：1. 机器学习的主要挑战1.1 训练数据量不足1.2 没有代表性的训练数据1.3 低质量的数据1.4 不相关的特征1.5 过拟合1.6 欠拟合2. 测试和评估3. 小结1. 机器学习的主要挑战在介绍基于模型学习算法的流程的时候，对于预测结果不好的问题分析，主要说了是数据问题还是...

上一篇机器学习入门系列（1）–机器学习概览简单介绍了机器学习的一些基本概念，包括定义、优缺点、机器学习任务的划分等等。接下来计划通过几篇文章来介绍下，一个完整的机器学习项目的实现步骤会分为几步，最后会结合《hands-on-ml-with-sklearn-and-tf》的例子来介绍下相应代码的实现。这是如何构建一个完整的机器学习项目第一篇！这里先给出一个完整的机器学习项目过程的主要步骤，如下...

2019年第 11 篇文章，总第 35 篇文章机器学习入门系列（2）–如何构建一个完整的机器学习项目(二)上一篇机器学习入门系列(2)–如何构建一个完整的机器学习项目(一)介绍了开始一个机器学习项目需要明确的问题，比如当前任务属于有监督还是无监督学习问题，然后性能指标需要选择什么，常用的分类和回归损失函数有哪些，以及实际开发中需要明确系统的输入输出接口问题。第二篇，会...

这是简单介绍神经网络的知识，并介绍一种特别的神经网络–多层感知器(Multi Layer Perceptron,MLP)。翻译自 https://ujjwalkarn.me/2016/08/09/quick-intro-neural-networks/这篇文章并不涉及到对数学公式的推导，只是简单介绍了神经网络的结构和基本原理。1. 神经元神经元(neuron)是神经网络的基本计算单元，也...

PyTorch 是由 Facebook 开发，基于 Torch 开发，从并不常用的 Lua 语言转为 Python 语言开发的深度学习框架，Torch 是 TensorFlow 开源前非常出名的一个深度学习框架，而 PyTorch 在开源后由于其使用简单，动态计算图的特性得到非常多的关注，并且成为了 TensorFlow 的 最大竞争对手。目前其 Github 也有 2w8+ 关注。Githu...

今天介绍一些机器学习的学习资料，主要是分为以下几个方面的内容：编程语言：实现机器学习，主要是介绍 Python 方面的语言；书籍：看书通常是入门的一种方法，比较适合自律性强的同学；视频：入门的第二种方法就是看视频，虽然会比看书慢一些，但是胜在详细，对完全零基础者是非常友好的；教程：主要是一些教程文章；博客网站：常去的网站，包括一些大神博客；Github 项目：Github 上的一些项...

原文链接：https://www.pyimagesearch.com/2019/01/14/machine-learning-in-python/作者：Adrian Rosebrock这是一篇手把手教你使用 Python 实现机器学习算法，并在数值型数据和图像数据集上运行模型的入门教程，当你看完本文后，你应当可以开始你的机器学习之旅了！本教程会采用下述两个库来实现机器学习算法：sci...

机器学习入门系列（2）–如何构建一个完整的机器学习项目，第十篇！该系列的前 9 篇文章：机器学习入门系列(2)–如何构建一个完整的机器学习项目(一)机器学习数据集的获取和测试集的构建方法特征工程之数据预处理（上）特征工程之数据预处理（下）特征工程之特征缩放&特征编码特征工程(完)常用机器学习算法汇总比较(上）常用机器学习算法汇总比较(中）常用机器学习算法汇总比较(完）...

机器学习入门系列（2）–如何构建一个完整的机器学习项目，第十一篇！该系列的前 10 篇文章：机器学习入门系列(2)–如何构建一个完整的机器学习项目(一)机器学习数据集的获取和测试集的构建方法特征工程之数据预处理（上）特征工程之数据预处理（下）特征工程之特征缩放&特征编码特征工程(完)常用机器学习算法汇总比较(上）常用机器学习算法汇总比较(中）常用机器学习算法汇总比较(...

机器学习入门系列（2）–如何构建一个完整的机器学习项目，第九篇！该系列的前八篇文章：机器学习入门系列(2)–如何构建一个完整的机器学习项目(一)机器学习数据集的获取和测试集的构建方法特征工程之数据预处理（上）特征工程之数据预处理（下）特征工程之特征缩放&特征编码特征工程(完)常用机器学习算法汇总比较(上）常用机器学习算法汇总比较(中）常用机器学习算法汇总比较的最后一...

机器学习入门系列（2）–如何构建一个完整的机器学习项目，第七篇！该系列的前六篇文章：机器学习入门系列(2)–如何构建一个完整的机器学习项目(一)机器学习数据集的获取和测试集的构建方法特征工程之数据预处理（上）特征工程之数据预处理（下）特征工程之特征缩放&特征编码特征工程(完)前面六篇文章从一个项目的终极目标、寻找和获取数据，到数据预处理，做特征工程，接下来就需要开始选择...

机器学习入门系列（2）–如何构建一个完整的机器学习项目，第四篇！该系列的前三篇文章：机器学习入门系列(2)–如何构建一个完整的机器学习项目(一)机器学习数据集的获取和测试集的构建方法特征工程之数据预处理（上）上篇文章介绍了如何处理缺失值和图片数据扩充的问题，这篇文章会介绍另外两种情况，处理异常值和类别不平衡的问题。3.1.3 处理异常值异常值分析是检验数据是否有录入错误以及含有...

机器学习入门系列（2）–如何构建一个完整的机器学习项目，第五篇！该系列的前四篇文章：机器学习入门系列(2)–如何构建一个完整的机器学习项目(一)机器学习数据集的获取和测试集的构建方法特征工程之数据预处理（上）特征工程之数据预处理（下）本篇文章会继续介绍特征工程的内容，这次会介绍特征缩放和特征编码，前者主要是归一化和正则化，用于消除量纲关系的影响，后者包括了序号编码、独热编码等，主要...

机器学习入门系列（2）–如何构建一个完整的机器学习项目，第六篇！该系列的前五篇文章：机器学习入门系列(2)–如何构建一个完整的机器学习项目(一)机器学习数据集的获取和测试集的构建方法特征工程之数据预处理（上）特征工程之数据预处理（下）特征工程之特征缩放&特征编码这也是特征工程系列最后一篇文章，介绍特征提取、特征选择、特征构建三个工作，通常特征工程被认为分为这三方面的内容，...

机器学习入门系列（2）–如何构建一个完整的机器学习项目，第八篇！该系列的前七篇文章：机器学习入门系列(2)–如何构建一个完整的机器学习项目(一)机器学习数据集的获取和测试集的构建方法特征工程之数据预处理（上）特征工程之数据预处理（下）特征工程之特征缩放&特征编码特征工程(完)常用机器学习算法汇总比较(上）上一篇文章介绍了线性回归、逻辑回归、决策树和随机森林四种算法，本...

机器学习入门系列（2）–如何构建一个完整的机器学习项目，第三篇！该系列的前两篇文章：机器学习入门系列(2)–如何构建一个完整的机器学习项目(一)机器学习数据集的获取和测试集的构建方法分别介绍了确定项目终极目标、选择损失函数、获取数据以及构建测试集，接下来在进入选择算法和训练模型之前，一个很重要的步骤就是特征工程，它包括了对数据的预处理、特征提取、特征分析以及特征构建等几个步骤，可以说能...

最近打算系统学习和整理机器学习方面的知识，会将之前看的 Andrew Ng 在 course 课程笔记以及最近看的书籍《hands-on-ml-with-sklearn-and-tf》结合起来，简单总结下机器学习的常用算法，由于数学功底有限，所以可能不会也暂时不能过多深入公式和算法原理，所以就做成一个入门系列吧。这是本系列的第一篇，也是机器学习概览的上半部分。1 . 什么是机器学习简单...

简单介绍和总结卷积神经网络（Convolutional Neural Networks）的基本组成网络层和常用的网络结构。参考文章/书籍：An Intuitive Explanation of Convolutional Neural Networks对CNN中pooling的理解《深度学习轻松学：核心算法与视觉实践》ResNet解析简介CNN可以应用在场景分类，图像...

转载自非极大抑制（Non-Maximum Suppression）。参考文章： 1. Non-Maximum Suppression for Object Detection in Python 2. NMS非极大值抑制最近在做人脸识别的项目，其中在人脸检测算法中MTCNN算法是用到了NMS算法来筛选候选的人脸区域得到最佳的人脸位置。这个算法其实应用非常广泛，在比较流行的检测算法中都有使用，包括

继续是机器学习课程的笔记，本节课的内容主要是介绍如何设计一个机器学习系统。

继续是机器学习课程的笔记，本节课的内容主要是一些机器学习应用的建议，包括对假设的评估，如何处理过拟合和欠拟合等。

继续是机器学习课程的笔记，这节课会介绍神经网络的内容。

继续是机器学习课程的笔记，本节课内容是异常检测，它是一个非监督学习算法，用于发现可能不应该属于一个已定义的组中的数据。

继续是机器学习课程的笔记，本节介绍的是降维方法，这也是非监督学习中的一个问题，主要介绍主要成分分析（Principal Component Analysis，PCA）算法。

继续是机器学习课程的笔记，本节介绍的是聚类方法，主要是K-means算法。非监督学习首先介绍监督学习和非监督学习的区别。