Logistic Regression Classifier实现（Python）

最新推荐文章于 2020-12-09 10:16:52 发布

sonofaeolus

最新推荐文章于 2020-12-09 10:16:52 发布

阅读量747

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签： Logistic Regression python 算法机器学习

本文链接：https://blog.youkuaiyun.com/sonofaeolus/article/details/50074495

机器学习专栏收录该内容

2 篇文章

订阅专栏

本文介绍了使用Python实现逻辑回归分类器的过程，包括观测数据、结果矩阵和预测估计函数的详细步骤。通过矩阵运算避免了log(0)的错误，并提供了相关公式的推导参考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import math

#观测数据

matrix = [[1,47,76,24],[1,46,77,23],[1,48,74,22],[1,35,75,24],[1,35,75,24],[1,34,77,25]]

#结果矩阵 1是 0否

result = [1.0,1.0,1.0,0.0,0.0,0.0]

theta = [1,1,1,1]

#预测估计函数

def f_g(x):
ex = math.exp(x)
return ex/(1+ex)
if __name__ == '__main__':
likehood = 0.0
total = 0.0
for i in range(100):
print "****%d iter**** \n" %(i)
j = i%6
h = 0.0
for k in range(4):
h += matrix[j][k]*theta[k]
print "h is %f \n" %(h)
error_sum = result[j]-f_g(h)
print "f_g(h) is %f \n" %(f_g(h))
print "error_sum: %f \n" %(error_sum)
for k in range(4):
theta[k] += 0.01*(error_sum)*matrix[j][k]
print "theta[0]:%f , theta[1]:%f ,theta[2]: %f ,theta[3]: %f \n" %(theta[0],theta[1],theta[2],theta[3])
total = 0.0
for j in range(6):
xi = 0.0
for k in range(4):

xi += matrix[j][k]*theta[k]

#此步骤计算是由之前公式变换得来之前公式易发生log(0)的bug 即yj*z-yj*log(1+h)

total += result[j]*xi - result[j]*math.log(1+math.exp(xi))

print "total is %f \n" %(total)

具体的公式以及推导过程（公式）可以参考Andrew NG的课程