AI 算法笔记

论文链接：https://openaccess.thecvf.com/content/CVPR2021/papers/Jia_Leveraging_Line-Point_Consistence_To_Preserve_Structures_for_Wide_Parallax_Image_CVPR_2021_paper.pdf代码链接：https://github.com/dut-media-lab/Image-Stitching摘要生成具有自然结构的高质量拼接图像是计算机视觉中的一项具有挑战性的任务。

原文：http://theorangeduck.com/page/neural-network-not-working原文标题：My Neural Network isn’t working! What should I do?译文作者：kbsc13联系方式：Github：https://github.com/ccc013知乎专栏：机器学习与计算机视觉，AI 论文笔记微信公众号：AI 算法笔记前言如果你的神经网络不收敛，应该怎么办呢？一般来说，神经网络不收敛的原因有以下 11 种原因：

2019年第76篇文章，总第100篇文章本文大约3200字，阅读大约需要10分钟数据结构算法系列： 数据结构算法入门系列第三篇--链表，链表也是非常常见的数据结构，面试过程中也会经常考到相关的题目。本文首先介绍链表的基本情况，比如单向链表、双向链表等，然后会介绍一些技巧。今日推荐阅读：链表也是一个非常常见的数据结构，和数组相比，它不需...

转载自非极大抑制（Non-Maximum Suppression）。参考文章： 1. Non-Maximum Suppression for Object Detection in Python 2. NMS非极大值抑制最近在做人脸识别的项目，其中在人脸检测算法中MTCNN算法是用到了NMS算法来筛选候选的人脸区域得到最佳的人脸位置。这个算法其实应用非常广泛，在比较流行的检测算法中都有使用，包括

简介 随机森林指的是利用多棵树对样本进行训练并预测的一种分类器。它是由多棵CART(Classification And Regression Tree)构成的。对于每棵树，其使用的训练集是从总的训练集中有放回采样出来的，这意味着总训练集中有些样本可能多次出现在一棵树的训练集中，也可能从未出现在一棵树的训练集中。在训练每棵树的节点时，使用的特征是从所有特征中按照一定比例随机地无放回的抽取的，假设

参考自：《统计学习方法》浅谈机器学习基础（上）简介 提升方法(boosting)是一种常用的统计学习方法，在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提供分类的性能。boosting和baggingboosting和bagging都是集成学习（ensemble learning）领域的基本算法，boosting和bagging使用的多个分类器的类型

参考如下机器学习（四）— 从gbdt到xgboost机器学习常见算法个人总结（面试用）xgboost入门与实战（原理篇）简介 GBDT是一个基于迭代累加的决策树算法，它通过构造一组弱的学习器（树），并把多颗决策树的结果累加起来作为最终的预测输出。算法介绍GBDT是希望组合一组弱的学习器的线性组合，即有： F∗=argminEx,y[L(y,F(x))]F(x;pm,am)=∑m=0M

继续是机器学习课程的笔记，本节课将介绍推荐系统的内容。

参考自《统计学习方法》机器学习常见算法个人总结（面试用）从最大似然到EM算法浅解（EM算法）The EM Algorithm简介 EM算法，即期望极大算法，用于含有隐变量的概率模型的极大似然估计或极大后验概率估计，它一般分为两步：第一步求期望(E),第二步求极大(M)。如果概率模型的变量都是观测变量，那么给定数据之后就可以直接使用极大似然法或者贝叶斯估计模型参数。 但是当模型含有隐

记录来自《剑指offer》的算法题。题目如下： 输入一个整数数组，实现一个函数来调整该数组中数字的顺序，使得所有奇数位于数组的前半部分，所有偶数位于数组的后半部分。

最近打算系统学习和整理机器学习方面的知识，会将之前看的 Andrew Ng 在 course 课程笔记以及最近看的书籍《hands-on-ml-with-sklearn-and-tf》结合起来，简单总结下机器学习的常用算法，由于数学功底有限，所以可能不会也暂时不能过多深入公式和算法原理，所以就做成一个入门系列吧。这是本系列的第一篇，也是机器学习概览的上半部分。1 . 什么是机器学习简单...

这是本系列的第二篇，也是机器学习概览的下半部分，主要内容如下所示：1. 机器学习的主要挑战1.1 训练数据量不足1.2 没有代表性的训练数据1.3 低质量的数据1.4 不相关的特征1.5 过拟合1.6 欠拟合2. 测试和评估3. 小结1. 机器学习的主要挑战在介绍基于模型学习算法的流程的时候，对于预测结果不好的问题分析，主要说了是数据问题还是...

本文大约 3800 字，阅读大约需要 8 分钟要说最近几年在深度学习领域最火的莫过于生成对抗网络，即 Generative Adversarial Networks(GANs)了。它是 Ian Goodfellow 在 2014 年发表的，也是这四年来出现的各种 GAN 的变种的开山鼻祖了，下图表示这四年来有关 GAN 的论文的每个月发表数量，可以看出在 2014 年提出后到 2016 年相...

本文大约 5000 字，阅读大约需要 10 分钟这是 GAN 学习系列的第二篇文章，这篇文章将开始介绍 GAN 的起源之作，鼻祖，也就是 Ian Goodfellow 在 2014 年发表在 ICLR 的论文–Generative Adversarial Networks”，当然由于数学功底有限，所以会简单介绍用到的数学公式和背后的基本原理，并介绍相应的优缺点。基本原理在[GAN学习系列...

上一篇机器学习入门系列（1）–机器学习概览简单介绍了机器学习的一些基本概念，包括定义、优缺点、机器学习任务的划分等等。接下来计划通过几篇文章来介绍下，一个完整的机器学习项目的实现步骤会分为几步，最后会结合《hands-on-ml-with-sklearn-and-tf》的例子来介绍下相应代码的实现。这是如何构建一个完整的机器学习项目第一篇！这里先给出一个完整的机器学习项目过程的主要步骤，如下...

机器学习入门系列（2）–如何构建一个完整的机器学习项目，第八篇！该系列的前七篇文章：机器学习入门系列(2)–如何构建一个完整的机器学习项目(一)机器学习数据集的获取和测试集的构建方法特征工程之数据预处理（上）特征工程之数据预处理（下）特征工程之特征缩放&特征编码特征工程(完)常用机器学习算法汇总比较(上）上一篇文章介绍了线性回归、逻辑回归、决策树和随机森林四种算法，本...

机器学习入门系列（2）–如何构建一个完整的机器学习项目，第七篇！该系列的前六篇文章：机器学习入门系列(2)–如何构建一个完整的机器学习项目(一)机器学习数据集的获取和测试集的构建方法特征工程之数据预处理（上）特征工程之数据预处理（下）特征工程之特征缩放&特征编码特征工程(完)前面六篇文章从一个项目的终极目标、寻找和获取数据，到数据预处理，做特征工程，接下来就需要开始选择...

机器学习入门系列（2）–如何构建一个完整的机器学习项目，第九篇！该系列的前八篇文章：机器学习入门系列(2)–如何构建一个完整的机器学习项目(一)机器学习数据集的获取和测试集的构建方法特征工程之数据预处理（上）特征工程之数据预处理（下）特征工程之特征缩放&特征编码特征工程(完)常用机器学习算法汇总比较(上）常用机器学习算法汇总比较(中）常用机器学习算法汇总比较的最后一...

记录来自《剑指offer》上的算法题。题目如下： 给定单向链表的头指针和一个结点指针，定义一个函数在O(1)时间删除该结点。

简介定义：分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型：内部结点和叶结点。内部结点表示一个特征或属性，叶结点表示一个类。决策树学习通常包括3个步骤：特征选择、决策树的生成和决策树的修剪。决策树学习本质上是从训练数据集中归纳出一组分类规则，也可以说是由训练数据集估计条件概率模型。它使用的损失函数通常是正则化的极大似然函数，其策略是以损失函数为目标函数的最小

记录来自《剑指offer》上的算法题。题目描述： 实现函数 double Power(double base, int exponent), 求 base的 exponent次方。不得使用库函数，同时不需要考虑大数问题。

记录来自《剑指offer》上的算法题。题目如下： 请实现一个函数，输入一个整数，输出该数二进制表示中1的个数。例如把9表示成二进制是1001，有两位是1，因此如果输入9，函数输出是2。

记录来自《剑指offer》上的算法题目。 题目如下： 输入某二叉树的前序遍历和中序遍历的结果，请重构出该二叉树。假设输入的前序遍历和中序遍历的结果都不含重复的数字。

记录来自《剑指offer》的算法题目 链表应该是面试时被提及最频繁的数据结构，它的结构简单，由若干个结点连接成链状结构，其创建、插入结点、删除结点等操作都只需要20行左右的代码就能实现，其代码量比较适合面试。

记录《剑指offer》上的算法题。完整的代码例子可以在我的Github。这是一道有关字符串的问题。首先在C/C++中，会把常量字符串放到单独的一个内存区域中，当几个指针赋值给相同的常量字符串时，它们实际上会指向相同的内存地址；但如果用常量内存初始化数组，数组的地址是不相同的。下面给出替换空格的题目： 请实现一个函数，把字符串中的每个空格替换成”%20”。例如输入“We are happy.”，

记录《剑指offer》上的算法题。完整的代码例子可以在我的Github 题目：在一个二维数组中，每一行按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有这个整数。

继续是机器学习课程的笔记，这节课的内容是介绍支持向量机（SVM）的内容。SVM是一个非常强大且流行的算法，在一些情况下，面对一些复杂的非线性问题可以提供比逻辑回归或神经网络更加简洁更加有效的结果。：

继续是机器学习课程的笔记，本节介绍的是降维方法，这也是非监督学习中的一个问题，主要介绍主要成分分析（Principal Component Analysis，PCA）算法。

记录来自《剑指offer》上的算法题。题目如下： 输入数字n，按顺序打印出从1到最大的n位十进制数。比如输入3，则打印出1，2，3一直到最大的3位数即999。

记录《剑指offer》上的算法题。题目描述如下： 用两个栈实现一个队列，队列的声明如下，请实现它的两个函数appendTail和deleteHead，分别完成在队列尾部插入结点和在队列头部删除结点的功能。

参考文章：《统计学习方法》机器学习常见算法个人总结（面试用）机器学习系列(9)_机器学习算法一览（附Python和R代码）简介 k近邻（KNN)是一种基本分类与回归方法。其思路如下：给一个训练数据集和一个新的实例，在训练数据集中找出与这个新实例最近的kk个训练实例，然后统计最近的kk个训练实例中所属类别计数最多的那个类，就是新实例的类。其流程如下所示：计算训练样本和测试样本中每个样本

参考自：《机器学习》机器学习&数据挖掘笔记_16（常见面试之机器学习算法思想简单梳理）K-Means Clustering斯坦福大学公开课 ：机器学习课程简介 K-均值是最普及的聚类算法，算法接受一个未标记的数据集，然后将数据集聚类成不同的组。

1. 线性回归简述在统计学中，线性回归（Linear Regression）是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合（自变量都是一次方）。只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归。

这次需要总结的是朴素贝叶斯算法

排序算法最近打算重新复习和总结排序算法，参考文章有：《大话数据结构》 找工作知识储备(3)—从头说12种排序算法：原理、图解、动画视频演示、代码以及笔试面试题目中的应用排序的基本概念与分类 假设含有n个记录的序列为r1,r2,⋯,rn{r_1,r_2,\cdots,r_n}，其相应的关键字分别为k1,k2,⋯,kn{k_1,k_2,\cdots,k_n}，需要确定1,2,⋯,n1,2, \

简介 SVM是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。或者简单的可以理解为就是在高维空间中寻找一个合理的超平面将数据点分隔开来，其中涉及到非线性数据到高维的映射以达到数据线性可分的目的。

记录来自《剑指offer》的算法题。题目如下： 写一个函数，输入n，实现斐波那契数列的第n项。

记录来自《剑指offer》上的算法题。题目描述如下： 把一个数组最开始的若干个元素搬到数组的末尾，我们称之为数组的旋转。输入一个递增排序的数组的一个选择，输出旋转数组的最小元素。例如数组{3,4,5,1,2}是{1,2,3,4,5}的一个旋转，该数组的最小值是1。这里可以采用二分查找的想法，使用两个指针，一个指向第一个元素，一个指向末尾元素，然后就需要寻找数组的中间元素，如果中间元素是位于前面

继续是机器学习课程的笔记，本节介绍的是聚类方法，主要是K-means算法。非监督学习首先介绍监督学习和非监督学习的区别。