KI的博客

基于在线校准时间序列的天然气需求预测模型。

利用Chaquopy在安卓项目中运行Python代码，调用mlxtend实现Apriori算法。

对前面三篇关于负荷预测的综述论文进行一个总结。

Review on probabilistic forecasting of photovoltaic power production andelectricity consumption---论文阅读(1)。

Energy Forecasting: A Review and Outlook---阅读笔记。

Review on probabilistic forecasting of photovoltaic power production andelectricity consumption---论文阅读(2)。

Review on probabilistic forecasting of photovoltaic power production andelectricity consumption---论文阅读(3)。

报错如下：原因：我的py文件名也叫xgboost，Python在编译时把xgboost.py当成了一个module，自然在这个"module"里是找不到XGBRegressor的。解决方案：重命名py文件。

决策树识别MNIST数据集

手写KNN识别MNIST数据集（PyTorch读入数据）

机器学习中常用的矩阵求导规则。

使用hmmlearn中的MultinomialHMM实现中文分词。

三大聚类K-means、dbscan以及agnes的简单原理介绍以及简单实现

本篇博客主要是对SVM系列学习的一个实践。手写SVM来简单地对指定数据集进行分类预测。

在前面几篇关于SVM的文章中，我们在计算过程中都有意无意地跳过了拉格朗日乘子的计算，SMO算法就是求解这些参数的具体方法。

逻辑回归作业：基于梯度下降的逻辑回归（Logistics Regression）实现对马疝病数据集（horseColic）的分类预测。

当我们想要得到一个随机事件的概率分布时，如果没有足够的信息来完全确定其概率分布，那么最为保险的方法就是选择使得熵最大的分布。

核方法是非常强大的一种方法。本文主要讲述核方法的大致理论，并根据正定核的两种定义方式来证明二者互通，然后引出核技巧。

本文主要探讨优化问题中强、弱对偶性以及KKT条件的证明。

利用PCA对半导体制造数据（1567 X 590）进行降维。

KNN识别MNIST手写数据集（32*32维），根据KNN原理一步步实现。

降维分为三种：特征选择、线性降维和非线性降维。本文主要介绍一些关于降维的基本知识以及线性降维的典例PCA（主成分分析法）

利用XGBoost实现对鸢尾花数据集（Iris.csv）的分类预测

利用AdaBoost对马疝病数据集（horseColic）进行分类预测

使用决策树（decision-tree）预测隐形眼镜类型（标签二值化（LabelBinarizer）复原输出）

深入理解SVM---从头到尾详细推导（软硬间隔、KKT条件、核技巧）

利用朴素贝叶斯（Naive Bayes）原理对垃圾邮件进行过滤。

前面学习了朴素贝叶斯的原理，并且利用朴素贝叶斯原理对西瓜数据集3.0进行了分类：[朴素贝叶斯（Naive Bayes）原理+编程实现拉普拉斯修正的朴素贝叶斯分类器]，今天我们更进一步，来探讨一下贝叶斯网络的原理以及应用。

朴素贝叶斯（Naive Bayes）原理+编程实现拉普拉斯修正的朴素贝叶斯分类器，以西瓜数据集3.0为训练集，对“测1”样本进行判别。

本文主要回忆上课所讲的一些关于机器学习与深度学习的基本概念，以此来达到强化记忆与深度理解的目的。

KNN（K- Nearest Neighbor），即K最邻近算法，是数据挖掘分类技术中最简单的方法之一。简单来说，它是根据“邻近”这一特征来对样本进行分类。

本文借助了李宏毅机器学习笔记，主要是想用通俗易懂的语言来解释相关概念，并且使自己掌握得更加牢靠！！集成学习主要分为串行的Boosting和并行的Bagging，以及Stacking，下面将依次介绍。

决策树（decision tree）是一种基本的分类与回归方法，本文主要讨论用于分类的决策树。决策树学习通常包括三个步骤：特征选择，决策树的生成和决策树的修剪。而随机森林则是由多个决策树所构成的一种分类器，更准确的说，随机森林是由多个弱分类器组合形成的强分类器。............

聚类是一个将数据集中在某些方面相似的数据成员进行分类组织的过程，聚类就是一种发现这种内在结构的技术，聚类技术经常被称为无监督学习。k均值聚类是最著名的划分聚类算法，由于简洁和效率使得他成为所有聚类算法中最广泛使用的。给定一个数据点集合和需要的聚类数目k，k由用户指定，k均值算法根据某个距离函数反复把数据分入k个聚类中。......

支持向量机（Support Vector Machine, SVM）是一类按监督学习方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面。本文借助了李宏毅机器学习笔记，主要是用通俗易懂的语言来推导出hinge loss和kernel trick。......

逻辑回归（Logistic Regression）与线性回归（Linear Regression）都是一种广义线性模型（generalized linear model）。逻辑回归假设因变量 y 服从伯努利分布，而线性回归假设因变量 y 服从高斯分布。 因此逻辑回归与线性回归有很多相同之处，去除Sigmoid映射函数的话，逻辑回归算法就是一个线性回归。...

问题引入：假设有2个不同的class C1与C2，C1与C2里面分别有N1和N2个样本，现在要对某件物品x进行分类，X一定属于C1与C2中的某一类。先引进贝叶斯公式：P(C1|x)即x属于C1类别的概率，这里是二分类，所以我们可以用0.5作为界限，P>0.5则属于C1，否则属于C2。P(C1)=N1/(N1+N2)，P(C2)=N2/(N1+N2)，所以现在得知道P(x|C1)和P(x|C2)，即在C中取出一个样本，是X的概率。这里就需要知道C1和C2的总体服从什么分布，在你不确定总体服从

这里先解释一下过拟合与欠拟合的概念。所谓过拟合，是指模型学习能力过于强大，把训练样本中某些不太具有一般性的特征都学到了。例如判断一个人是否是好人，训练样本中所有好人都或多或少做过一些坏事，模型学到了这一特征，把这一模型运用到了实际预测中去，这明显是有失偏颇的，因为一个人是否是好人理论上跟一个人是否做过坏事是不相关的。所谓欠拟合，是指模型学习能力低下，连训练集中的数据都不能很好的拟合，比如说我要预测一个人是否是坏人，模型只考虑到了他是否做过坏事，这明显是考虑不全的，做过坏事不一定就是坏人，那么显然这

y=wi*xi+b，基于最小二乘法的线性回归：寻找参数w和b，使得w和b对x_test_data的预测值y_pred_data与真实的回归目标y_test_data之间的均方误差最小。