机器学习_周志华_问题汇总_第2周

本文汇总了机器学习中的常见问题,包括文本分类错误分析、Bagging与朴素贝叶斯的关系、LinearSVC在集成学习中的表现、异常值处理策略、逻辑回归对偶形式及代价函数的来源等。同时分享了相关资源,如逻辑回归的优化函数推导和决策树算法解析。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

问题

Q1 如果我想分析一下文本分类错误的原因,应该从哪些方面入手?

  • 可以去分析一下哪个类别错误率高,然后看看这个类别的是否不平衡,针对这个类别看看能不能进行改进。
  • 还有就是数据量过少,或是数据质量较差(比如人为标注的样本可能类别是不正确的),都会影响到模型的学习。
  • 因为分类错误这个受特征和模型的参数影响也很大,这可以从这两个方面考虑一下。

Q2 为什么Bagging难以提升朴素贝叶斯分类器的性能?

  • 朴素贝叶斯分类器,主要是依靠数据集的这些样本用极大似然的方法估计总体分布,所以当然是数据集越大越好。
  • 而Bagging每个基学习器只抽取一部分样本,自然训练出来的朴素贝叶斯分类器很差,所以集成后也基本不太可能有大的提升。

Q3 为什么我用LinearSVC做基分类器的时候,不管是Bagging还是Adaboost都和单个分类器一模一样呢,增加分类器个数结果也完全不变

  • 一般模型的上限由特征决定,而你的几个模型的特征可能相同,所以会相似。
  • 而Bagging并不一定比单模型好啊,bagging每个基模型都只用了一部分数据,基分类器比较弱啊,所以有可能在基分类器的基础上提升很小。
  • 但是,如果是完全10个完全不认识的人做10个模型,最后将10个结果结果进行投票决定,那么这个肯定是比单模型有提升的,因为你们10个模型都好而不同。但是bagging无法保证这一点。

Q5 3.15是什么意思啊?y不应该是等于e的(W.tx+b)次方吗

3.15的意思就是 g(y)是一个线性模型,而y不是,所以称为广义线性模型。而这里的函数g并不一定是ln,所以y不应该等于e的*

Q6 logisticRegression的对偶形式会讲解吗,或者有参考资料数学公式吗吗。我在运行课程代码的时

### 关于《机器学习》第二章模型评估与选择 在探讨周志华所著《机器学习》一书中第二章的内容时,重点在于理解不同评价指标以及如何基于这些度量标准挑选最优模型。本章节深入讨论了多种性能衡量方法及其应用场景。 #### 性能度量的重要性 为了有效对比各类算法的表现并选出最适合特定任务的方案,必须依赖可靠的性能度量工具。常见的分类器性能测量方式包括混淆矩阵、精度(Precision)、召回率(Recall),也称为查全率(R)[^4]。通过引入真正例(TP)、假正例(FP)的概念,可以更精确地描述预测结果的质量。 #### 模型的选择策略 当面临多个候选模型时,除了考量训练集上的表现外,还需要重视其泛化能力,即能否良好适应未见过的数据。交叉验证是一种常用的技术手段,能够帮助估计模型的真实误差范围,并减少过拟合的风险[^1]。 ```python from sklearn.model_selection import cross_val_score, KFold from sklearn.datasets import load_iris from sklearn.tree import DecisionTreeClassifier # 加载数据集 data = load_iris() X, y = data.data, data.target # 定义决策树分类器 clf = DecisionTreeClassifier() # 使用K折交叉验证评估模型 kf = KFold(n_splits=5) scores = cross_val_score(clf, X, y, cv=kf) print(f'Cross-validation scores: {scores}') ``` 上述代码展示了利用`scikit-learn`库实现简单的五折交叉验证过程,适用于任何给定的学习器实例。 #### 查准率与查全率的关系 查准率(Precision)反映了被检索出来的文档中有多少是相关的;而查全率(Recall)则表示所有相关文档中有多少比例被成功找到。两者之间存在权衡关系,在实际应用中需根据需求调整侧重点。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值