周志华机器学习第五章例题5.5

#标准BP

import numpy as np

#训练集
dataset = np.array([[0,0,0,0,0,0,0.697,0.460,1],
                    [1,0,1,0,0,0,0.774,0.376,1],
                    [2,0,0,0,0,0,0.556,0.215,1],
                    [0,1,0,0,1,1,0.403,0.237,1],
                    [1,1,1,1,1,0,0.666,0.091,0],
                    [0,1,0,1,0,0,0.639,0.161,0],
                    [2,1,1,1,0,0,0.657,0.198,0],
                    [1,1,0,0,1,1,0.360,0.370,0],
                    [2,0,0,2,2,0,0.593,0.042,0],
                    [0,0,1,1,1,0,0.719,0.103,0]]
)
#测试集
test_dataset = np.array([[1,0,0,0,0,0,0.634,0.264,1],
                         [0,0,1,0,0,0,0.608,0.318,1],
                         [1,1,0,1,1,1,0.481,0.149,1],
                         [1,1,0,0,1,0,0.437,0.211,1],
                         [0,2,2,0,2,
### 关于周志华机器学习第五章5.5节的内容解读 #### 5.5 集成方法 (Ensemble Methods) 在机器学习领域,集成方法是一种通过组合多个模型预测结果的技术,旨在提高整体性能并减少泛化误差。该章节主要探讨了几种重要的集成策略及其理论基础。 #### 提升算法(Boosting) 提升算法是一类迭代式的集成技术,在每一轮训练过程中赋予不同样本不同的权重,使得分类器更加关注之前被错误分类的数据点。AdaBoost作为最早也是最著名的代表之一,通过调整误分实例权值得到一系列弱分类器,并最终加权投票形成强分类器[^1]。 #### Bagging 和随机森林(Random Forest) Bagging即Bootstrap Aggregating, 是一种基于重采样的集成方式。对于给定数据集,bagging会创建若干子样本用于独立训练基估计量;而随机森林则是在决策树基础上进一步引入特征随机选取机制,从而降低过拟合风险并增强多样性。 #### Stacking Stacking 或堆叠泛化是一种更复杂的元学习框架,允许利用初级层多种类型的个体学习者输出作为次级层输入来进行更高层次的学习任务建模。这种方法能够充分利用不同类型模型的优势,达到更好的表现效果。 ```python from sklearn.ensemble import RandomForestClassifier, AdaBoostClassifier from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split X, y = make_classification(n_samples=1000, n_features=20, n_informative=2, n_redundant=10, random_state=42) X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) rf_clf = RandomForestClassifier() ada_clf = AdaBoostClassifier() rf_clf.fit(X_train, y_train) ada_clf.fit(X_train, y_train) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值