yks的博客

前两天学习了knn算法，knn的思想很简单，不过其中提出的kd树有理解的必要。故就用python写了一个kd树代码。个人感想是，把kd树算法实现一遍比看书看半天有用多了，而且还不会犯困（bushi思路来自https://www.joinquant.com/view/community/detail/dd60bd4e89761b916fe36dc4d14bb272讲的很好，不过有一个小漏洞，编程实现一遍才发现# 余康盛 python学习# 2022/3/31# 16:11# kd树结点cl

集成学习8.1 个体与集成8.2 Boosting8.2.1Boosting介绍8.2.2AdaBoost算法8.1 个体与集成集合个体应该和而不同，①和指个体学习器的泛化误差应该小于随机误差，以二分类问题为例，就是指误差ϵ\epsilonϵ<0.5②不同指的是，个体学习器之间应该有所差异，这样集成学习才有意义收敛条件的两个结论：①个体学习器越多越好，能降低集成错误率②ϵ≠\epsilon\neqϵ​= 0.58.2 Boosting8.2.1Boosting介绍Boosting

朴素贝叶斯基本介绍分类流程优缺点优点：缺点:4种应用实时预测：多类预测：文本分类/垃圾邮件过滤/情感分析：推荐系统：基本介绍朴素贝叶斯分类器是一种基于贝叶斯定理的弱分类器，所有朴素贝叶斯分类器都假定样本每个特征与其他特征都不相关。举个例子，如果一种水果其具有红，圆，直径大概3英寸等特征，该水果可以被判定为是苹果。尽管这些特征相互依赖或者有些特征由其他特征决定，然而朴素贝叶斯分类器认为这些属性在判定该水果是否为苹果的概率分布上独立的。朴素贝叶斯分类器很容易建立，特别适合用于大型数据集，众所周知，这是一种胜

SVM总结和公式推导以上内容参考了周志华《机器学习》，谢文睿《机器学习公式详解》，李航《统计学习方法》。如有错误欢迎指正

目录5.1神经元模型5.1.1M-P神经元模型5.1.2神经网络5.2感知机与多层网络5.2.1感知机5.3误差逆传播算法5.4全局最小和局部极小5.5其他常见的神经网络5.6深度学习5.1神经元模型5.1.1M-P神经元模型在这个模型中，神经元接受到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元接受到的总输入值将与神经元的阈值θ\thetaθ进行比较,然后通过激活函数处理以产生神经元的输出。理想的激活函数是阶跃函数它将输入值映射为输出值0或1,其中1对应于

目录4.1什么是决策树4.2划分选择4.2.1 划分的思路4.2.2 ID3决策树4.2.3 C4.5决策树4.2.4 CART决策树4.3 剪枝处理4.3.1 预剪枝4.3.2 后剪枝4.4 连续与缺失值4.5 多变量决策树4.1什么是决策树决策树是一个预测模型,他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值。4.2划分选择4.2.1 划分的思路我们需要选择一个最优的划分属性，一般而言，随着划分过程的不断进行，我们希望决策树的分支结

第三章，线性模型3.1基本形式3.2线性回归3.2.1概述3.2.2一元线性回归3.2.2.1 最小二乘法3.2.2.2极大似然估计3.3.3多元线性回归3.3对数几率回归3.4线性判别分析3.5多分类学习3.6 类别不平衡问题3.1基本形式线性模型试图学得一个通过属性的线性组合来进行预测的函数，即f(x)=w1x1+w2x2+w3x3+⋯+wdxd+bf(\boldsymbol x)=w_1x_1+w_2x_2+w_3x_3+\dots+w_dx_d+bf(x)=w1​x1​+w2​x2​+w3​x

概览西瓜书+南瓜书第1、2章这里两章主要是梳理一下概念，为接下来的学习做一个铺垫吧。为了使入门较为简单，这里我暂时跳过以下内容第一章：【1.4 归纳偏好】第二章：【2.3.3-ROC与AUC】及其之后的内容这些内容在之后需要的时候再来补充。第一章 绪论数据集、示例、属性/特征、属性值的区分数据集是描述一组物体特征的集合，以数分、高代、C++三门学习成绩为例{（数分=95，高代=95，C++=95），（数分=45，高代=80，C++=50）…}示例是集合中的一个元素如“（数分=95，高代=9