机器学习心得(四)

本文介绍了分类问题,特别是二分类和多分类的逻辑回归方法。重点讲解了Sigmoid函数,它是逻辑回归中常用的激活函数,用于将连续值转换为概率。此外,还详细阐述了逻辑回归的损失函数和求解过程,是理解机器学习基础的好材料。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


前言

逻辑回归


一、分类问题(Classification)

分类问题是监督学习的主要类型,主要分为二分类和多分类问题。

  • 二分类问题:我们先从用蓝色圆形数据定义为类型1,其余数据为类型2;只需要分类1次步骤:① → \rightarrow
    在这里插入图片描述

  • 多分类问题:我们先定义其中一类为类型1,其它的数据为负类;然后我们类型1去除,剩下其他,其他部分再次进行二分类,分成类型2和负类;如果有𝑛类,那就需要分类𝑛-1 次步骤:① → \rightarrow → \rightarrow → \rightarrow ……,总的来说就是不断的进行二分类。
    在这里插入图片描述


二、Sigmoid函数

Sigmoid函数(logistic function):我们用 g ( z ) g(z) g(z)来表示函数, g ( z ) = 1 1 + e − z g(z)=\frac{1}{1+e^{-z}} g(z)=1+ez1 z = w T x + b z=w^{T}x+b z=wTx+b,函数图像如下所示:
在这里插入图片描述


三、逻辑回归求解

假设现在有一个二分类问题, p ( y = 1 ∣ x ; w ) = h ( x ) p(y=1|x;w)=h(x) p(y=1x;w)=h(x)表示第一类, p ( y = 0 ∣ x ; w ) = 1 − h ( x ) p(y=0|x;w)=1-h(x) p(y=0x;w)=1h(x)表示第二类,则合起来的通式为 p ( y ∣ x ; w ) = ( h ( x ) ) y ( 1 − h ( x ) ) 1 − y p(y|x;w)=(h(x))^{y}(1-h(x))^{1-y} p(yx;w)=(h(x))y(1h(x))1y。在这引入一个公式 g ′ ( z ) = g ( z ) ( 1 − g ( z ) ) g{}'(z)=g(z)(1-g(z)) g(z)=g(z)(1g(z)),求解很简单,就是把 g ( z ) = 1 1 + e − z g(z)=\frac{1}{1+e^{-z}} g(z)=1+ez1带入求导。

  1. 损失函数
    在这里插入图片描述

  2. 代价函数:为了衡量算法在全部训练样本上的表现如何,我们需要定义一个算法的代价函数,算法的代价函数是对𝑚个样本的损失函数求和然后除以𝑚。
    在这里插入图片描述

  3. 求解过程
    在这里插入图片描述在这里插入图片描述在这里插入图片描述
    在这里插入图片描述

总结

本人也才刚刚开始学习,请大家多多包涵。大家在学习机器学习之前可以先学习下线性代数

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值