- 博客(32)
- 收藏
- 关注
RSS订阅原创 机器学习:正则化和超参数调优
正则化是防止机器学习模型过拟合的关键技术，通过添加参数约束（如L1、L2范数）来降低模型复杂度。常见方法包括岭回归（L2正则）、Lasso回归（L1正则）和弹性网络（L1+L2组合），分别适用于处理多重共线性、特征选择和混合场景。逻辑回归也可通过添加正则项改进性能。超参数优化中，网格搜索能穷举最优组合但计算成本高。正则化技术显著提升模型泛化能力，是机器学习的重要优化手段。
2025-06-24 16:40:15
951
原创 机器学习:支持向量机
核函数是一种将输入向量映射到高维空间中的方式，使得在该高维空间中，点之间的内积可以表示为原空间中的非线性组合。具体来说，给定两个向量 (x\mathbf{x}x) 和 (y\mathbf{y}y)，核函数 (KxyKxyKxyϕx⊤ϕyKxyϕx⊤ϕy其中，(ϕxϕx) ) 是将输入向量 (x\mathbf{x}x) 映射到高维空间中的映射函数。核函数的选择直接影响到了模型的性能和计算效率。
2025-02-15 09:36:07
860
原创 机器学习:朴素贝叶斯
概率表示随机事件发生可能性大小的一个数值,随机事件指在相同条件下,可能出现也可能不出现的事件。抛硬币: 当我们抛硬币时,可以正面朝上也可以反面朝上,正面或反面朝上的可能性被称为概率。理想状态下正反概率都是0.5。掷骰子: 掷一个六面的骰子,每个点出现的概率是1/6,因为每个面出现的机会是均等的。抽取商品: 一批商品包含良品和次品,随机抽取一件,抽取良品或次品是一个随机事件,经过大量实验,我们可以得到一个常数,表示抽取次品的概率。
2025-02-14 17:24:44
962
原创 机器学习:集成学习和随机森林
先训练一个初始模型;根据模型的表现进行调整,使得模型预测错误的数据获得更多的关注,再重新训练下一个模型不断重复第二步,直到模型数量达到预先设定的数目,最终将T个模型加权结合对于一个离散随机变量 ( X )，假设其取值为 ( x_1, x_2,\ldots, x_n )，每个取值的概率分别为 (pxip(x_ipxi) )。
2025-02-13 22:38:50
822
原创 机器学习:决策树
决策树的核心思想在于选择一个特征作为分裂条件，将当前的数据划分为两个子节点，并重复这个过程直到达到停止条件。分裂条件的选择通常基于信息增益（香农信息量）或基尼不等式，以确保每次分裂都能带来最大的信息量。与线性模型不同，决策树能够自动识别重要的特征，并根据数据情况生成复杂的决策规则。香农信息量衡量了特征是否有助于区分不同类别的数据分布，而基尼不等式则评估了特征对分类任务的影响程度。决策树的准确率是其评估性能的重要指标。特征标准化或归一化对决策树的影响有限，因为决策树主要关注特征的分类属性而非数值范围。
2025-02-13 21:19:18
1463
原创 机器学习:二分类和多分类
二分类是指将输入样本分成两个互斥的类别。邮件 spam 或不是 spam。病人是有病或健康。物品是正品或假货。多分类是指将输入样本分成三个或更多互斥类别。图像分类：识别图片中的物体（如猫、狗、鸟等）。文本分类：将文本归类到多个主题类别中。
2025-02-12 16:42:47
1021
原创 机器学习: 逻辑回归
逻辑回归是一种用于分类问题的统计方法。它通过计算目标变量的概率来预测类别归属，并假设数据服从伯努利分布（二分类）或多项式分布（多分类）。逻辑回归模型输出的是概率值，通常使用sigmoid函数将线性组合映射到0和1之间。逻辑回归是一种广义线性模型，其核心思想是将线性组合通过sigmoid函数转换为概率值，从而确定样本属于某一类的概率有多大。Py1∣x11e−wTxbPy1∣x1e−wTxb1www是权重向量xxx是输入特征向量bbb。
2025-02-12 14:37:12
1230
原创 机器学习:多项式回归
在应用多项式回归时，一个关键的问题是选择适当的多项式次数。虽然这个模型在训练数据上完美地通过了每一个点，但它可能无法准确预测新的房价数据，因为模型过度捕捉到了训练数据中的噪声。然而，需要注意的是，虽然多项式回归仍然属于线性模型家族，但通过引入高阶特征，它能够捕捉到更复杂的模式和关系。欠拟合是指模型无法充分捕捉到训练数据中的模式或特征，导致在训练数据上的表现不佳，同时泛化能力也较差。：在能源管理中，电力需求可能随着温度的升高呈非线性变化，比如在非常高的温度下，需求增长趋缓甚至下降。
2025-02-11 15:53:48
1071
原创 机器学习:线性回归
线性回归是一种监督学习算法，用于预测一个连续的数值目标变量。它通过一条直线（在单变量情况下）或超平面（在多变量情况下）来建模自变量与因变量之间的关系。MSE 是预测值与实际值之间差异平方的平均值，反映了模型预测的误差大小。它是一种直观且常用的损失函数，在回归问题中广泛应用。R² 是一种衡量模型对因变量变化的解释程度的指标。它表示自变量能解释因变量变异的比例，取值范围为 [0, 1]。
2025-02-11 15:19:58
1523
原创 webpack一些方法应用
webpack在寻找相对文件是会以context为根目录,context默认为执行启动webpack时所在的工作目录,entry的路径及其依赖的模块采用相对于context的路径来描述。
2024-04-29 15:15:24
244
原创 前端工程化构建
传统网站的渲染流程是由浏览器主动发起请求,然后由服务器生成HTML文档发送响应到浏览器,浏览器接收到之后渲染为可视化网页.在客户端终端设备以及浏览器性能普遍比较落后的情况下都能保证良好的渲染效果,并且服务端渲染更便于SEO,缺点是每访问一个页面都要发起请求,每个请求都需要服务器进行路由匹配,数据库查询,生成页面在发送给浏览器,这个过程会消耗服务器大量的计算资源。静态资源指的是js,css,图片等,这种资源是静态的,不需要服务器做处理,动态资源指的是html模板。plugin是webpack的扩展插件。
2024-04-29 15:14:26
1415
1原创 Mongodb添加用户认证
MongoDB默认是不需要添加用户认证的，一般在命令行工具直接输入mongo就可以登录，但出于对数据的安全考虑还是需要添加用户认证的登录数据库(这个时候并没有设置用户认证可以直接登录)mongo查看一下数据库信息show dbs选择要设置的数据库use admin添加账号密码和权限，user指的就是设置的账号，pwd就是设置的密码，roles设置的就是用户权限db.createUSer({user:'root',pwd:'root',roles:['root']})查看一下用户信息
2022-08-23 08:17:49
767
原创 Ajax跨域cookies值传递问题
服务器端通过res.header设置Access-Control-Allow-Credentials属性为true客户端通过xhr.withCredentials＝true，来设置允许跨域访问最后服务器返回的结果:报错的原因是这个ajax的请求，包含了include，由Access-Control-Allow-Credentials属性来进行控制的解决方案:将Access-Control-Allow-Origin属性的*改为跨域访问的域名，我这里使用的是本机进行访问的，所以我的是http://
2022-08-22 12:07:30
201
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人