smalltorch的博客

特征缩放技术在机器学习优化过程中可以加快收敛过程，特别是在数据量差异较大的情况下。关于学习率的选取一直都是机器学习里面的一个热点，到现在已经有部分自适应学习率的优化算法可供我们选择。但本文还是想介绍一下，自己应该怎么使用合适的学习率。

K近邻算法（K-Nearest Neighbors, KNN）是一种简单但有效的监督学习算法，广泛应用于分类和回归任务中。可以看到KNN算法的确很简单，模型复杂度低，对于复杂性任务效果就不是很好了。而且模型是基于距离来的，各个数据点键是独立的，缺乏依赖性，似乎丧失了机器学习中学习的意思。举一个很简单的例子来说明该算法无法处理复杂问题：我之前做过一个将经纬高坐标转换成地心地固坐标的任务（有具体的转系公式），当时我是用转系公式转过去的。

我在大三刚接触到机器学习课程的时候，回归问题很自然就能跨过这个坎。但在分类这个问题上，遇到的疑问一个接一个，本博客就是为了解答我本科学习期间的一个二分类器的疑问所作出的解答。刚开始学习机器学习时，我们学习的最简单的例子就是二分类的案例。这也就导致了我们学习了很多的二分类器，例如逻辑回归二分类器、支持向量机二分类器等等。当时我就一个疑问，那不是二分类问题怎么办，那这些二分类器就显得很作用受限，后来随着知识量的增多。

本节只会介绍SVM的一些sklearn的高级API调用接口，具体的理论推导这个模型的推导还是很复杂的，这里就不给出具体的理论了。具体理论还请读者自己想办法查阅资料吧。本来是有打算将理论也在这里附上，但很显然这个模型并不像线性回归和逻辑回归那样简单的几个公式就能够说明的，如果需要在这里讲述明白，需要大量的文字叙述，那么读者还不如去找一本详细介绍该模型的书看。最后面的sklearn网格搜索最优参数的技术很有用，要记得用哟，这个技术是通用适合sklearn里面各种模型的。

今天我们开始介绍逻辑回归的从零开始实现代码了，其中内容会包括普通实现、多项式特征实现非线性分类、正则化实现三个版本。相信看完底层实现你对逻辑回归的理解也会上升一个层次。哇，我感觉我写的好多啊，好多细节！！！

本博客主要是将线性回归推广到多项式线性回归，主要实现手段就是进行特征选择来实现多项式线性回归。以上就是今天关于多项式回归的简单实现了，

最近，想将本科学过的一些机器学习算法从零开始实现一下，毕竟天天当调包侠，虽然也能够很愉快的玩耍，但对于我这个强迫症患者是很难受的，底层逻辑是怎么样的，还是需要知道的。接下来我会从最简单的多元线性回归开始，一步一步在jupyterjupyterjupyter里面实现。【注1】：本文默认读者具有基本的机器学习基础、numpynumpynumpy基础，如果没有建议看完吴恩达老师的机器学习课程在来看本文。