逻辑斯蒂回归

逻辑斯蒂回归

什么是逻辑斯蒂回归

其实就是解决二分类问题的一个算法,其中逻辑斯蒂是个函数这个函数是一个饱和函数(这类函数叫sigmoid),其值在0~1之间
在这里插入图片描述

在这里插入图片描述

什么是二分类

二分类问题是机器学习和统计学中的一种常见问题类型,其中目标是将数据分为两个互斥的类别或类别标签。这两个类别通常分别被称为正类别(positive class)和负类别(negative class)

以下是一些常见的示例二分类问题:

  1. 垃圾邮件检测:根据电子邮件的内容和特征,将每封电子邮件标记为垃圾邮件(正类别)或非垃圾邮件(负类别)。

  2. 疾病诊断:根据医疗检查结果和患者的临床特征,将患者分类为患有某种疾病(正类别)或健康(负类别)。

  3. 信用风险评估:根据申请人的信用历史、收入和其他相关信息,将信用卡申请者分类为高风险(正类别,可能违约)或低风险(负类别,不太可能违约)。

分类问题实际处理方式

不同于线性回归,分类问题不连续,分类问题解决方法是对于每个类计算与当前值匹配的概率,再用这个将类映射成概率的,可以很好满足建立方程完成概率的映射
实际计算上,就是实现输入值映射到预测值y,y为概率在0~1之间,这个映射关系大概如下,w、b则是要调配求出的系数,也就是需要求得的权重
在这里插入图片描述
对于神经网络的单元来说,其处理分类问题就是吧wx+b看做一个整体,代入到函数,
在这里插入图片描述
在这里插入图片描述

求损失值

因为不同于线性模型,这里是分布之间的差异,比如所给数据集p(class=1)= 0.5与p(class=0)= 0.5与预测值p_hat(class=1)= 0.6与p_hat(class=0)= 0.4之间的差距,这种用我们用交叉熵来计算,公式及解释:
在这里插入图片描述
在这里插入图片描述
所以对事件当为1时候和为0时候的概率求交叉熵得到损失函数:
在这里插入图片描述
这个就是二分类所用的损失函数,叫在这里插入图片描述
BCE,以上是一条数据的损失,对应小批量数据的损失,则对BCE求和。

代码

import torch

# import torch.nn.functional as F

# prepare dataset
x_data = torch.Tensor([[1.0], [2.0], [3.0]])
y_data = torch.Tensor([[0], [0], [1]])


# design model using class
class LogisticRegressionModel(torch.nn.Module):
    def __init__(self):
        super(LogisticRegressionModel, self).__init__()
        self.linear = torch.nn.Linear(1, 1)

    def forward(self, x):
        # y_pred = F.sigmoid(self.linear(x))
        y_pred = torch.sigmoid(self.linear(x))
        return y_pred


model = LogisticRegressionModel()

# construct loss and optimizer
# 默认情况下,loss会基于element平均,如果size_average=False的话,loss会被累加。
criterion = torch.nn.BCELoss(size_average=False)
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

# training cycle forward, backward, update
for epoch in range(1000):
    y_pred = model(x_data)
    loss = criterion(y_pred, y_data)
    print(epoch, loss.item())

    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

print('w = ', model.linear.weight.item())
print('b = ', model.linear.bias.item())

x_test = torch.Tensor([[4.0]])
y_test = model(x_test)
print('y_pred = ', y_test.data)
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值