liubai01的博客

1 引言我写的博客很多都是想在一些容易被劝退的地方分享一些体悟。在这之中有一个比较基本的关卡：矩阵求导。当你在面对LR(logistic regression）和最小二乘问题求梯度的时候，你会想：“这里的公式为啥是这样？”。回答你的，可能是参考书目背后零星公式的整理。若你想上网查阅，却发现鱼龙混杂（最近随着机器学习的热门情况有所好转）。我认为主要原因是：矩阵求导还没有一个统一的定义。WIKI有...

1 前序第一次遇到SVM，是在写爬虫作验证码的识别。做完预处理将数字弄成特征向量后，发现SVM能将其正确分类，从此对ML感兴趣。我第一步就想自己将sklearn实现的东西自己去写一遍，体会其中的精妙。结果过了一年半，即将步入本三，才敢说自己对机器学习，支持向量机有了浅显的认知。基于SVM的验证码识别当时在翻阅网上SVM的教程，发现到处充满了优化的痕迹：KKT, Slater强对偶条件...

1.0 引言笔者第一次接触霍夫丁不等式（Hoeffding Inequality）是在林轩田先生的机器学习基石课程（还是在b站上看的hh）上。可以说，当时没有系统学过概率论与数理统计（probability and statistics）的我，对于不等式的推导是感到相当头疼。后来，我本科课程优化与机器学习课程引用了伦斯勒理工学院（RPI）的slide。乍看之下，发现竟与林轩田先生的课十分相似。...