机器学习(周志华) 参考答案 第三章 线性模型 3.3

博客介绍了用对数几率回归实现周志华《机器学习》习题3.3西瓜分类的方法,分别给出了Matlab和Python的实现过程。包括对西瓜数据集3.0进行Excel数据处理、展示代码以及绘图或运行结果。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一:matlab实现
1.数据的Excel处理
这里写图片描述
西瓜数据集3.0

2.代码

# -*- coding: utf-8 -*-

old_l = 0;
n = 0;
b = [0;0;1]; %对应书中(3.25)下的B=(w;b),因为x有两个属性:密度,含糖率,所以有b三行,还有一个是w*x+b中的b。

x = xlsread('E:\Program Files\octave\西瓜3.0.xlsx', 'Sheet1', 'A1:Q3')
y = xlsread('E:\Program Files\octave\西瓜3.0.xlsx', 'Sheet1', 'A4:Q4')

while(1)
  cur_l = 0;
  bx = zeros(17,1);

  for i=1:17
    bx(i) = b.'*x(:,i);
    cur_l = cur_l + (-y(i)*bx(i)) + log(1+exp(bx(i))); %对应式(3.27end

  if abs(cur_l-old_l) < 0.0001
    break;
  end

  n += 1;
  old_l = cur_l;
  dl = 0;
  d2l = 0;

  for i=1:17 %牛顿法求解(3.29)
    pl(i) = 1 - 1 / (1+exp(bx(i)));
    dl = dl - x(:,i) * (y(i) - pl(i)); %(3.30)
    d2l += x(:,i) * x(:,i).'* pl(i)*(1-pl(i)); %(3.31end
  b -= d2l \ dl;
end

%绘图
for i=1:17
  if y(i) == 1
    plot(x(1,i),x(2,i),'+r');
    hold on;
  else if y(i) == 0
    plot(x(1,i),x(2,i),'og');
    hold on;
  end
end
end  


ply = -(0.1*b(1)+b(3))/b(2);
pry = -(0.9*b(1)+b(3))/b(2);     
line([0.1 0.9],[ply pry]);        

xlabel('density');
ylabel('Sugar content');
title('Rate regression');

3.绘图结果
这里写图片描述

二:Python实现
1.Excel处理数据
这里写图片描述

2.代码

# -*- coding: utf-8 -*-
#对率回归分类
import numpy as np
from numpy import linalg
import pandas as pd
#读取数据集
inputfile = 'E:/Program Files/octave/xigua.xlsx'
data_original = pd.read_excel(inputfile, 'Sheet1')
#数据的初步转化与操作--属性x变量2行17列数组,并添加一组1作为吸入的偏置x^=(x;1)
x=np.array([list(data_original[u'密度']),list(data_original[u'含糖率']),[1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]])
y=np.array([1,1,1,1,1,1,1,1,0,0,0,0,0,0,0,0,0])
#定义初始参数
beta = np.array([[0],[0],[1]])       #β列向量
old_l = 0 #3.27式l值的记录,这是上一次迭代的l值
n=0

while 1:
    beta_T_x = np.dot(beta.T[0], x)  # 对β进行转置取第一行(因为β转置后是array([[0, 0, 1]],取第一行得到array([0, 0, 1])
                                      # ,再与x相乘(dot),beta_T_x表示β转置乘以x)
    cur_l = 0   #当前的l值
    for i in range(17):
        cur_l = cur_l + ( -y[i]*beta_T_x[i]+np.log(1+np.exp(beta_T_x[i])) )#计算当前3.27式的l值,这是目标函数,希望他越小越好
    #迭代终止条件
    if np.abs(cur_l - old_l) <= 0.000001:   #精度,二者差在0.000001以内就认为可以了,说明l已经很收敛了
        break               #满足条件直接跳出循环

    #牛顿迭代法更新β
    #求关于β的一阶导数和二阶导数
    n=n+1
    old_l = cur_l
    dbeta = 0
    d2beta = 0
    for i in range(17):
        dbeta = dbeta - np.dot(np.array([x[:,i]]).T,( y[i]-(  np.exp(beta_T_x[i])/(1+np.exp(beta_T_x[i])) ) )) #一阶导数
        d2beta =d2beta + np.dot(np.array([x[:,i]]).T,np.array([x[:,i]]).T.T) * (  np.exp(beta_T_x[i])/(1+np.exp(beta_T_x[i])) ) * (1-(  np.exp(beta_T_x[i])/(1+np.exp(beta_T_x[i])) ))
    beta = beta - np.dot(linalg.inv(d2beta),dbeta)
print('模型参数是:',beta)
print('迭代次数:',n)

3.运行结果
这里写图片描述

来源
用对数几率回归实现周志华《机器学习》习题3.3西瓜分类,python编程

机器学习(周志华) 参考答案 第三章 线性模型 3.3

### 关于《机器学习周志华第二章答案 当考虑模型评估与选择时,不同评价指标提供了多角度的理解方法。对于给定的学习器而言,在特定条件下其性能可以通过多种方式衡量。例如,通过McNemar检验来判断两个分类算法在相同数据集上的表现差异是否具有统计学意义[^1]。 若要对比两学习器的总体性能,除了依赖传统的准确率之外,还可以借助受试者工作特征曲线(ROC),特别是当面对不平衡的数据分布情况时更为有效。如果一个学习器的ROC曲线完全覆盖住了另一条,则表明前者的整体性能更佳;而对于存在交叠的情况,则推荐采用曲线下面积(AUC)作为评判标准[^2]。 另外,“平衡点”(Break-Event Point,简称BEP),定义为查准率等于查全率时对应的值,也被用来辅助评估。比如,当某个学习器拥有更高的F1分数时,意味着它同样具备较大的BEP数值,这暗示着该模型可能更适合处理那些对误报和漏报敏感的应用场景[^4]。 针对具体题目解答部分,《机器学习》一书中关于真正例率(True Positive Rate, TPR)、假正例率(False Positive Rate, FPR)以及查准率(Precision, P)、查全率(Recall, R)之间关系进行了深入探讨: - **TPR** 和 **R** 实际上是同一个概念的不同表述形式; - **FPR** 则反映了负样本被错误标记的比例; - 查准率P关注的是预测为正类别的实例中有多少是真的正类别成员; - 而查全率R侧重考察实际属于正类别的对象有多少被成功识别出来。 这些度量共同构成了全面理解分类效果的基础框架[^5]。 ```python def calculate_metrics(tp, tn, fp, fn): """ 计算并返回精度(precision), 召回率(recall), 真阳性率(true positive rate) 和 假阳性率(false positive rate). 参数: tp -- 正确预测为正的数量 tn -- 正确预测为负的数量 fp -- 错误预测为正的数量 fn -- 错误预测为负的数量 返回: precision -- 召回率/真阳性率 fpr -- 假阳性率 """ try: precision = tp / (tp + fp) recall_tpr = tp / (tp + fn) fpr = fp / (fp + tn) return round(precision, 3), round(recall_tpr, 3), round(fpr, 3) except ZeroDivisionError as e: print("除数不能为零:", str(e)) ```
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值