【集成算法】投票法详解

投票法的原理和案例分析 前言 阅读详情

集成算法之投票法详解(原理+实战+选型)

本文面向本科、研究生阶段学习者,用通俗易懂的语言讲解**投票法(Voting)**的核心概念、数学原理、完整算法流程,结合鸢尾花(Iris)分类任务实现从数据预处理到模型优化的全流程实战,并对比同类集成算法给出明确选型思路。内容从入门到进阶,可直接用于课程设计、机器学习竞赛和实际项目开发。

一、投票法:通俗理解核心概念

投票法是集成学习中最直观、最简单的模型融合方法,核心思路是**“集思广益”**——让多个独立的“模型专家”各自给出预测结果,再通过“投票”确定最终答案,就像一群人一起做选择题,少数服从多数(或结合信心权重)。

两种核心投票方式

投票法主要分为硬投票和软投票,适用场景和计算逻辑不同,用通俗例子就能看懂:

1. 硬投票(Hard Voting):少数服从多数

每个模型只给出“确定的类别”,最终统计所有模型的预测结果,票数最多的类别就是最终答案。

  • 例子:3个模型预测某张图片的类别,分别输出“猫”“狗”“猫”,“猫”得2票,“狗”得1票,最终结果为“猫”;
  • 核心:只看“类别选择”,不考虑模型对预测结果的“信心”。
2. 软投票(Soft Voting):加权信心求和

每个模型不仅给出预测类别,还输出“每个类别的概率(信心值)”,最终将所有模型的概率相加,概率总和最高的类别为最终答案。

  • 例子:3个模型预测“猫”的概率分别为0.8、0.3、0.7,预测“狗”的概率分别为0.2、0.7、0.3;“猫”的总概率=0.8+0.3+0.7=1.8,“狗”的总概率=0.2+0.7+0.3=1.2,最终结果为“猫”;
  • 进阶:加权软投票——给性能更好的模型分配更高权重(如模型A准确率90%,权重0.6;模型B准确率70%,权重0.4),更贴合实际需求。

投票法的核心优势

  1. 简单直观:原理和实现都很简单,无需复杂数学推导,初学者易上手;
  2. 模型互补:不同模型的优势和错误模式不同,投票能抵消个别模型的偶然错误;
  3. 鲁棒性强:只要基模型的误差不完全相关,就能提升整体预测的稳定性;
  4. 灵活性高:可自由选择硬投票/软投票,还能通过权重调整优化融合效果。

二、投票法核心原理详解

投票法的数学原理简洁明了,以下假设存在MMM个基分类器,类别集合为C={c1,c2,...,cK}\mathcal{C}=\{c_1,c_2,...,c_K\}C={c1​,c2​,...,cK​}(如二分类K=2K=2K=2,三分类K=3K=3K=3),输入样本为xxx,重点讲解硬投票和软投票的数学表达。

2.1 硬投票(Hard Voting)

数学定义

每个基分类器hi(x)h_i(x)hi​(x)输出确定的类别预测hi(x)∈Ch_i(x) \in \mathcal{C}hi​(x)∈C,定义指示函数(判断模型iii是否预测类别ccc):
I(hi(x)=c)={1,若hi(x)=c,0,否则.I\left(h_{i}(x)=c\right)= \begin{cases}1, & 若 h_{i}(x)=c, \\ 0, & 否则. \end{cases}I(hi​(x)=c)={1,0,​若hi​(x)=c,否则.​

最终预测类别y^\hat{y}y^​是“票数最多”的类别:
y^=argmaxc∈C∑i=1MI(hi(x)=c)\hat{y}=arg max _{c \in \mathcal{C}} \sum_{i=1}^{M} I\left(h_{i}(x)=c\right)y^​=argmaxc∈C​i=1∑M​I(hi​(x)=c)

  • 含义:对每个类别ccc,统计所有模型中预测ccc的数量,选择票数最高的ccc作为结果。
理论依据

假设每个基分类器的预测独立,且准确率ϵi<0.5\epsilon_i < 0.5ϵi​<0.5(优于随机猜测),根据大数定律:当基分类器数量MMM增大时,正确预测的模型数量更可能占多数,最终错误率会迅速降低。

2.2 软投票(Soft Voting)

数学定义

每个基分类器输出对每个类别的概率pi(c∣x)p_i(c|x)pi​(c∣x)(满足∑c∈Cpi(c∣x)=1\sum_{c \in \mathcal{C}} p_i(c|x)=1∑c∈C​pi​(c∣x)=1),最终预测类别是“概率总和最高”的类别:
y^=argmaxc∈C∑i=1Mpi(c∣x)\hat{y}=arg max _{c \in \mathcal{C}} \sum_{i=1}^{M} p_{i}(c | x)y^​=argmaxc∈C​i=1∑M​pi​(c∣x)

加权软投票(进阶)

若不同模型的重要性不同,引入权重wiw_iwi​(满足∑i=1Mwi=1\sum_{i=1}^M w_i=1∑i=1M​wi​=1),加权后总概率为:
S(c∣x)=∑i=1Mwipi(c∣x)S(c|x)=\sum_{i=1}^{M} w_{i} p_{i}(c | x)S(c∣x)=i=1∑M​wi​pi​(c∣x)
最终预测:
y^=argmaxc∈CS(c∣x)\hat{y}=arg max _{c \in \mathcal{C}} S(c | x)y^​=argmaxc∈C​S(c∣x)

权重选择技巧

权重通常与基模型的性能挂钩,常用方式:

  • 权重wi∝accuracyiw_i \propto accuracy_iwi​∝accuracyi​(模型iii的准确率);
  • 权重wi∝1erroriw_i \propto \frac{1}{error_i}wi​∝errori​1​(模型iii错误率的倒数);
  • 通过交叉验证(如GridSearchCV)搜索最优权重组合。

2.3 投票法完整算法流程

无论是硬投票还是软投票,核心流程一致,分为4步,逻辑清晰可直接落地:

1. 输入
  • 待分类样本xxx;
  • 已训练好的MMM个基分类器{h1,h2,...,hM}\{h_1,h_2,...,h_M\}{h1​,h2​,...,hM​};
  • 投票类型(硬/软),软投票需指定权重(默认等权)。
2. 基模型预测
  • 硬投票:每个模型hih_ihi​输出预测类别hi(x)h_i(x)hi​(x);
  • 软投票:每个模型hih_ihi​输出类别概率分布pi(c∣x)p_i(c|x)pi​(c∣x)(c∈Cc \in \mathcal{C}c∈C)。
3. 投票/概率累加
  • 硬投票:统计每个类别的票数V(c)=∑i=1MI(hi(x)=c)V(c)=\sum_{i=1}^M I(h_i(x)=c)V(c)=∑i=1M​I(hi​(x)=c),选择V(c)V(c)V(c)最大的类别;
  • 软投票:计算每个类别的总概率S(c∣x)=∑i=1Mwipi(c∣x)S(c|x)=\sum_{i=1}^M w_i p_i(c|x)S(c∣x)=∑i=1M​wi​pi​(c∣x),选择S(c∣x)S(c|x)S(c∣x)最大的类别。
4. 输出最终结果

输出预测类别y^\hat{y}y^​。

2.4 关键注意事项

  1. 基模型需“多样性”:基模型的错误模式应尽可能不同(如逻辑回归+决策树+KNN),若所有模型都犯同样错误,投票法无法提升效果;
  2. 软投票需“概率校准”:基模型输出的概率需可靠(如通过 Platt 校准),否则概率累加无意义;
  3. 硬投票适用于“模型预测稳定”的场景,软投票适用于“模型能输出可靠概率”的场景。

三、投票法实战:鸢尾花分类任务(Python代码可直接运行)

以sklearn内置的鸢尾花(Iris)数据集为例,实现“数据预处理→基模型构建→投票集成→超参数调优→可视化”的全流程,代码注释详细,本科/研究生可直接复现。

3.1 环境准备

需要的Python库均为机器学习常用库,提前安装即可:

pip install numpy matplotlib seaborn scikit-learn

3.2 完整实战代码

import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
# 数据集与模型
from sklearn import datasets
from sklearn.decomposition import PCA
from sklearn.model_selection import train_test_split, GridSearchCV, cross_val_score
from sklearn.linear_model import LogisticRegression
from sklearn.tree import DecisionTreeClassifier
from sklearn.neighbors import KNeighborsClassifier
from sklearn.ensemble import VotingClassifier
from matplotlib.colors import ListedColormap

# ---------------------- 1. 数据加载与预处理 ----------------------
# 加载鸢尾花数据集(三分类:0=山鸢尾,1=变色鸢尾,2=维吉尼亚鸢尾)
iris = datasets.load_iris()
X = iris.data  # 4个特征:花萼长度、花萼宽度、花瓣长度、花瓣宽度
y = iris.target  # 标签

# PCA降维到2维(便于可视化决策边界)
pca = PCA(n_components=2)
X_reduced = pca.fit_transform(X)

# 划分训练集(70%)和测试集(30%)
X_train, X_test, y_train, y_test = train_test_split(
    X_reduced, y, test_size=0.3, random_state=42, stratify=y
)

print("="*60)
print("数据预处理完成")
print("="*60)
print(f"训练集样本数:{X_train.shape[0]},测试集样本数:{X_test.shape[0]}")
print(f"降维后特征数:{X_reduced.shape[1]}")

# ---------------------- 2. 构建基模型与投票集成模型 ----------------------
# 定义3个不同类型的基模型(保证多样性)
clf1 = LogisticRegression(random_state=42, solver='liblinear', multi_class='ovr')  # 线性模型
clf2 = DecisionTreeClassifier(random_state=42)  # 树模型
clf3 = KNeighborsClassifier()  # 近邻模型

# 构建软投票集成模型(默认等权)
voting_clf = VotingClassifier(
    estimators=[('lr', clf1), ('dt', clf2), ('knn', clf3)],
    voting='soft'  # 可切换为 'hard' 测试硬投票
)

# ---------------------- 3. 模型评估:基模型 vs 投票集成模型 ----------------------
print("\n="*60)
print("模型性能对比(5折交叉验证)")
print("="*60)
# 分别评估每个基模型和投票模型的准确率
for clf, label in zip(
    [clf1, clf2, clf3, voting_clf],
    ['Logistic Regression', 'Decision Tree', 'KNN', 'Soft Voting Classifier']
):
    scores = cross_val_score(clf, X_train, y_train, cv=5, scoring='accuracy')
    print(f"{label:25s} Accuracy: {scores.mean():.4f} (±{scores.std():.4f})")

# 训练投票模型并评估测试集性能
voting_clf.fit(X_train, y_train)
test_acc = voting_clf.score(X_test, y_test)
print(f"\nSoft Voting Classifier 测试集准确率:{test_acc:.4f}")

# ---------------------- 4. 超参数调优:优化模型权重 ----------------------
print("\n="*60)
print("超参数调优(GridSearchCV优化权重)")
print("="*60)
# 定义权重搜索范围:为3个模型设置1-4的权重组合
param_grid = {
    'weights': [[w1, w2, w3] for w1 in range(1, 5) 
               for w2 in range(1, 5) 
               for w3 in range(1, 5)]
}

# 网格搜索最优权重(5折交叉验证)
grid_search = GridSearchCV(
    estimator=voting_clf,
    param_grid=param_grid,
    cv=5,
    scoring='accuracy',
    n_jobs=-1,
    verbose=1
)
grid_search.fit(X_train, y_train)

# 输出最优结果
print(f"最佳权重组合:{grid_search.best_params_['weights']}")
print(f"最佳交叉验证准确率:{grid_search.best_score_:.4f}")

# 用最优权重构建新的投票模型
voting_clf_opt = VotingClassifier(
    estimators=[('lr', clf1), ('dt', clf2), ('knn', clf3)],
    voting='soft',
    weights=grid_search.best_params_['weights']
)
voting_clf_opt.fit(X_train, y_train)
opt_test_acc = voting_clf_opt.score(X_test, y_test)
print(f"优化后测试集准确率:{opt_test_acc:.4f}")

# ---------------------- 5. 可视化决策边界 ----------------------
def plot_decision_boundary(clf, X, y, title):
    """绘制模型决策边界(2维特征)"""
    # 定义网格范围
    x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
    y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
    xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02),
                         np.arange(y_min, y_max, 0.02))
    
    # 预测网格中所有点的类别
    Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
    Z = Z.reshape(xx.shape)
    
    # 定义颜色映射
    cmap_light = ListedColormap(['#FFAAAA', '#AAFFAA', '#AAAAFF'])  # 浅色背景
    cmap_bold = ListedColormap(['#FF0000', '#00FF00', '#0000FF'])   # 深色样本点
    
    # 绘制决策边界和样本点
    plt.figure(figsize=(8, 6))
    plt.contourf(xx, yy, Z, alpha=0.3, cmap=cmap_light)
    plt.scatter(X[:, 0], X[:, 1], c=y, s=40, edgecolor='k', cmap=cmap_bold)
    plt.xlabel("Principal Component 1", fontsize=14)
    plt.ylabel("Principal Component 2", fontsize=14)
    plt.title(title, fontsize=16)
    plt.show()

# 可视化原始投票模型和优化后模型的决策边界
print("\n="*60)
print("决策边界可视化")
print("="*60)
plot_decision_boundary(voting_clf, X_train, y_train, "Decision Boundary (Soft Voting)")
plot_decision_boundary(voting_clf_opt, X_train, y_train, "Decision Boundary (Optimized Soft Voting)")

3.3 实战关键步骤解读

  1. 数据预处理:用PCA将4维特征降为2维,方便可视化决策边界;分层抽样划分训练/测试集,保证类别分布一致;
  2. 基模型选择:选择逻辑回归(线性)、决策树(非线性)、KNN(近邻)三种不同原理的模型,保证“多样性”,为投票法的性能提升奠定基础;
  3. 模型评估:通过5折交叉验证对比基模型和投票模型的性能,验证投票法的“互补优势”——投票模型的准确率通常高于单个基模型;
  4. 权重调优:用GridSearchCV搜索最优权重组合,让性能更好的基模型拥有更高权重,进一步提升集成效果;
  5. 决策边界可视化:直观展示投票模型的分类逻辑,优化后的模型决策边界更合理,分类准确率更高。

3.4 实战核心结论

  1. 投票法能有效融合不同模型的优势,软投票的性能通常优于硬投票(利用了概率信心信息);
  2. 权重调优能进一步提升模型性能,让优质基模型的贡献更大;
  3. 基模型的“多样性”是投票法有效的关键,若基模型高度相似,投票法难以提升效果。

四、投票法的优缺点分析

结合原理和实战,总结投票法的核心优缺点,帮助本科/研究生理解其适用场景和局限性:

优点

  1. 简单易实现:原理直观,sklearn提供现成API,无需复杂代码,初学者快速上手;
  2. 模型互补性强:能融合不同类型模型的优势,抵消个别模型的偶然错误,提升鲁棒性;
  3. 灵活性高:支持硬投票/软投票,可通过权重调整适配不同场景,无需修改基模型结构;
  4. 低风险:即使个别基模型性能一般,只要整体模型互补,投票法仍能保持稳定性能;
  5. 无额外数据需求:仅需基模型的预测结果,无需额外训练数据。

缺点

  1. 依赖基模型质量:若所有基模型性能都较差(准确率<0.5),或错误模式高度一致,投票法无法提升效果,甚至会降低性能;
  2. 权重调优复杂:软投票的权重选择需要大量交叉验证,尤其基模型数量多时,计算开销较大;
  3. 未利用模型交互信息:仅简单统计/累加预测结果,未考虑模型间的潜在交互,对复杂数据的拟合能力不如Boosting、Stacking等集成方法;
  4. 软投票对概率敏感:若基模型输出的概率不可靠(未校准),软投票的效果可能不如硬投票;
  5. 难以解释:虽然单个基模型可解释,但投票法的最终决策是多个模型的组合,解释性比单个模型弱。

五、投票法与同类集成算法的对比

将投票法与Bagging(随机森林)、Boosting(XGBoost)、Stacking做全面对比,从“优点、缺点、适用场景”三个维度梳理,方便快速选型:

算法名称核心优点核心缺点适用场景
投票法简单易实现;模型互补性强;灵活性高;低风险依赖基模型质量;权重调优复杂;未利用模型交互;解释性弱快速构建基线模型;基模型多样且性能均衡;追求简单易落地的集成方案
Bagging并行训练;降低模型方差;抗过拟合;对噪声鲁棒无法降低偏差;基模型类型单一;对复杂数据拟合能力有限基模型不稳定(如决策树);需降低过拟合;数据量充足且训练时间宽松
Boosting迭代纠错;大幅降低偏差;预测精度高;捕捉复杂特征交互串行训练;对噪声/异常值敏感;易过拟合;调参复杂追求极致预测精度;数据干净(噪声少);对训练时间有容忍度
Stacking分层融合;学习最优融合策略;预测精度极高;支持复杂模型组合计算开销大;易过拟合;实现复杂;信息泄露风险高Kaggle竞赛;极致精度需求;计算资源充足;有经验处理信息泄露

关键差异总结

  1. 实现复杂度:投票法 < Bagging < Boosting < Stacking;
  2. 预测精度:Stacking > Boosting > 投票法 > Bagging(一般场景);
  3. 鲁棒性:Bagging > 投票法 > Boosting > Stacking;
  4. 训练速度:Bagging(并行)> 投票法 > Boosting > Stacking。

六、算法选型:何时优先选投票法?

结合“数据特点、任务要求、技术门槛”,给出明确的投票法选型建议:

优先选择投票法的场景

  1. 快速构建基线模型:拿到数据后,用多个简单模型快速搭建集成方案,验证建模思路;
  2. 基模型多样且性能均衡:已有逻辑回归、决策树、KNN等不同类型模型,且各自准确率相近(如70%-85%);
  3. 追求简单易落地:工程实现要求低,无需复杂调参或维护,快速上线;
  4. 数据噪声较多:需要提升模型鲁棒性,抵消个别模型的噪声干扰;
  5. 技术门槛有限:初学者或快速迭代场景,无需深入理解复杂集成逻辑。

不建议选择投票法的场景

  1. 追求极致预测精度:如Kaggle竞赛、金融风控,优先选Stacking或Boosting(XGBoost/LightGBM);
  2. 基模型质量差或单一:所有基模型准确率<0.5,或均为同一类型(如多个决策树),优先选Bagging或Boosting;
  3. 数据复杂且特征交互强:需要捕捉复杂非线性关系,优先选Boosting或Stacking;
  4. 计算资源充足且允许复杂实现:优先选Stacking,其学习式融合策略优于投票法的简单统计;
  5. 对模型解释性要求极高:优先选单个可解释模型(如逻辑回归、决策树),而非投票法。

七、总结与拓展学习

核心总结

投票法是集成学习的入门必学算法,核心是“集思广益”,通过简单的统计/累加实现多模型融合,兼具“简单、灵活、鲁棒”的优势,是快速构建基线模型、提升预测稳定性的优选方案。

学习投票法的关键要点:

  1. 理解硬投票/软投票的核心区别:硬投票看“票数”,软投票看“概率信心”;
  2. 掌握基模型选择原则:优先选择不同类型、性能均衡的模型,保证多样性;
  3. 实战重点:sklearn的VotingClassifier使用、权重调优、决策边界可视化;
  4. 选型核心:投票法是“简单优先、稳定优先”的算法,适合快速落地和基线构建,极致精度需求优先选Boosting/Stacking。

拓展学习方向

  1. 概率校准:学习用Platt校准、Isotonic Regression校准基模型的概率输出,提升软投票效果;
  2. 加权投票优化:尝试用遗传算法、贝叶斯优化替代GridSearchCV,更高效地搜索最优权重;
  3. 多标签投票:学习多标签分类任务中的投票法实现(如对每个标签独立投票);
  4. 与其他集成方法结合:将投票法作为Stacking的元学习器,或与Boosting模型组合,进一步提升精度;
  5. 回归任务的投票法:学习回归任务中的“平均法”(硬投票对应简单平均,软投票对应加权平均)。

附:投票法实战技巧

  1. 基模型选择技巧:至少选择2-3个不同类型的模型(线性+非线性+近邻/树模型),避免模型同质化;
  2. 投票类型选择:基模型能输出可靠概率→软投票;基模型预测稳定但概率不可靠→硬投票;
  3. 权重设置技巧:初学者可先使用等权投票,若效果不佳,再用GridSearchCV调优权重;
  4. 避免信息泄露:基模型和投票模型的训练/测试集必须严格分离,不可用测试集数据调整权重;
  5. 性能评估:用交叉验证而非单次划分评估模型,避免偶然因素影响结果。
算法专题:投票法 这两个问题之间的主要区别在于正在寻找的元素的数量。在查找主要元素的问题中,出现次数超过了n/2的只可能有一个元素。在这种情况下,当count变为0时可以安全地开始考虑一个新的候选元素,因为不可能有两个元素都出现次数超过n/2。所以当count为0时,可以肯定之前的元素不可能是主要元素,所以重新设置一个候选主要元素是合理的。然而,当寻找的是出现次数超过n/3的元素时,一个数组有可能存在两个这样的元素。所以,不能直接在count为0时就更改候选元素,必须先判断新元素是不是==num1/==num2! 阅读详情

相关推荐

关于集成学习的总结(一) 投票法

最近在写那个完整的机器学习项目博客时候,我本来打算用一篇博客来写的。结果发现要写的越来越多。而且最关键的是,以前以为有些地方理解了,其实并没有理解。大概这就是写博客记笔记的好处吧。。。可惜我上高中初中那会,从来都没记过233333   这篇集成学习的总结呢,将结合sklearn 的运用说一说有关集成学习的一些东西,包括bagging、boosting、stacking和其他一些算法,我们会重点...

PythonstartL的博客 1万+

集成学习之投票法

1. 定义 投票法是一种遵循少数服从多数原则的集成学习模型,通过多个模型的集成降低方差,从而提高模型的 鲁棒性。在理想情况下,投票法的预测效果应当优于任何一个基模型的预测效果。 投票法在回归模型与分类模型上均可使用: 回归投票法:预测结果是所有模型预测结果的平均值。 分类投票法:预测结果是所有模型种出现最多的预测结果。 2. 分类 对分类任务来说, 学习器 hih_{i}hi​ 将从类别标记集合 $ \left{c_{1}, c_{2}, \ldots, c_{N}\right} $ 中预测出一 个标

u012867518的专栏 3916

集成学习投票法实践案例

集成学习投票法介绍,如何使用投票法提高模型的准确率!以及对应的实践设计案例。

肖永威的专栏 2022

【算法与数据结构】投票算法

投票算法介绍

zzbro 1511

【机器学习-19】集成学习---投票法(Voting)

集成学习是一种强大的机器学习方法,它通过构建并结合多个学习器(也称为“基学习器”或“弱学习器”)的预测结果来完成学习任务。集成学习的主要目的是通过结合多个学习器的预测结果来提高模型的泛化能力和鲁棒性,降低单一学习器可能存在的过拟合或欠拟合风险。集成学习的基本原理在于,不同的学习器往往具有不同的偏差和方差特性,它们在各自的训练数据集上可能会产生不同的预测结果。当我们将这些学习器的预测结果进行某种形式的结合时,可以期望它们的偏差和方差特性能够相互抵消或互补,从而得到更加稳定和准确的预测结果。

qq_38614074的博客 2万+

在实际应用中,常用的模型融合方法有投票法、平均法、串行法、梯度法等。比如,投票法是选择几个模型的预测结果进行投

模型融合(Model Fusion)是一个很重要的问题。由于不同模型之间的区分度不足,导致集成学习模型的泛化能力差。同时,不同任务所对应的模型也可能存在差异性,因此需要一种模型集合学习的方法对多个模型进行有效的集成。传统的集成学习方法包括Bagging、Boosting、Stacking等。本文主要介绍了常用的四种模型融合方法——投票法、平均法、串行法和梯度法。并对这些方法的特点、适用场景、优缺点及其实现过程进行阐述。

AI天才研究院 2121

算法整理:Boyer-Moore 投票算法

1,基本思想 Boyer-Moore 投票算法的基本思想是:在每一轮投票过程中,从数组中删除两个不同的元素,直到投票过程无法继续,此时数组为空或者数组中剩下的元素都相等。 如果数组为空,则数组中不存在主要元素; 如果数组中剩下的元素都相等,则数组中剩下的元素可能为主要元素。(可能的原因是,如果是这样的一个数组[1,2,3],那么剩下的元素是3,但是3并不是数量超过一半的元素。) 2,主要步骤 Boyer-Moore 投票算法的步骤如下: 维护一个候选主要元素 candidate 和候选主要元素的

qq_40206371的博客 2936

深度学习技巧应用4-模型融合:投票法、加权平均法、集成模型法

为了得到集成模型的预测结果,你可以采用堆叠法,即把三个模型的预测结果作为输入特征,再训练一个新的模型进行预测。你可以根据每一个模型的表现,为它们分配一定的权重,然后根据这些权重,对它们输出的结果进行加权平均,从而得到更加精确的预测结果。深度学习中的模型融合技术,也叫做集成学习,是指同时使用多个模型来进行预测或分类,将它们的结果结合起来,从而获得更准确、更鲁棒的结果。在深度学习中,常常会使用不同类型的模型,如 CNN、 RNN 、 LSTM 等,将它们进行集成,综合利用不同模型的优点,进一步提高系统的性能。

微学AI的博客 7313

多数投票算法(Boyer-Moore Algorithm)

一、问题来源 : LeetCode169. Majority Elements 二、解决问题 :寻找数组中的众数 三、算法介绍 1、传统方法: 包括但不仅限于暴力法(双重循环逐个数字判断是否为众数)、HashMap法(计数)、排序法(中位数一定为众数,因为即便从距离中点最远的两端起,众数依旧能够到达中位数的位置)、随机数法(随机找数组中一个数判断是否为众数)、分治法 ...

chauncyyoung的博客 2189

基于labview实现MYSQL数据库查询功能

基于labview实现MYSQL数据库查询功能 前言: labview是一款功能强大的图形化编程软件,也就是俗称的G语言。 本篇将介绍如何利用labview对MYSQL进行列表分页,范围查询及模糊查询等几个可广泛应用的简易功能,但事实上labview并不擅长处理数据库,下面详细代码可体现。 数据库的环境配置方面的问题这里就不赘述了。 我们直接进入主题。 1.以下为查询界面 2.分页实现细节: ...

qq470783138的博客 7558

5分钟搞懂MSDNet:用Transformer实现小样本语义分割的保姆级教程

本文详细介绍了MSDNet(Multi-Scale Decoder Network)如何利用Transformer架构实现小样本语义分割。通过多尺度解码器和空间Transformer解码器,MSDNet能够在仅有1-5张标注图像的情况下完成精确分割任务。文章提供了PyTorch代码实例和优化技巧,帮助开发者快速掌握这一前沿技术。

weixin_30832143的博客 506

【机器学习】集成学习投票法:投票回归器(VotingRegressor) & 投票分类器(VotingClassifier)

本文介绍 VotingRegressor 和VoteClassifier的工作原理,并使用鸢尾花和糖尿病数据集作为示例,分别展示如何使用投票分类器解决分类/回归任务。

WHYbeHERE的博客 9559

画个板子玩一玩STM32F030F4P6,也许是最便宜的32bit MCU

前言,什么是STM32F030F4P6 STM32目前最便宜的芯片之一应该就是这一块,STM32F030F4P6,这一个芯片没有USB,但是其他都有,引脚少,价格低廉,如果找不到原厂,可以买替代的国产芯片,性能也一样。 不管怎么样也是Cortex-M0,比8bit和16bit的性能都强,总的来说就是低价,引脚少,体积小的同时,还容易开发,有很多模拟输入可玩,还有SPI,硬件I2C等等 所以,这一款MCU真的是从理论来说又便宜又好用,非常适合把玩。 画个板,最小系统 STM32F030其..

arenascat的博客 2万+

集成学习:投票法、提升法、袋装法

投票法是一种强大的集成学习策略,它通过将多个模型的预测结果进行组合,旨在提升整体模型的性能。在简单投票中,每个模型对分类结果的投票权重相同,而在加权投票中,则根据模型的表现为每个模型分配不同的权重。通过集成多个模型,投票法能够有效降低单一模型的偏差,提高预测的准确性。随机森林作为袋装法的代表,结合了多棵决策树的预测结果,通常能获得优于单一模型的效果。随机森林是袋装法的经典应用,结合了决策树的优势和袋装法的灵活性。通过对多个模型的集成,袋装法能够充分发挥每个模型的长处,从而形成更为稳定和高效的预测系统。

switch616的博客 1686

NV 英伟达2022数字芯片笔试题

作者:数字IC打工人 链接:【开卷】第27期 NV 英伟达2022数字芯片笔试题_笔经面经_牛客网 来源:牛客网 1、Single Choice: Given thefollowing FIFO and rules, how deep does the FIFO need to be to preventunderflow or overflow? RULES: clk_A=25MHz; clk_B=100MHz; en_B is periodically asserted: period.

weixin_44072819的博客 6396

中国高精度年度平均气温栅格数据集(1901-2024)

本文基于中国月度平均气温栅格数据集,计算生成1901-2024年1km分辨率的年度平均气温数据集,并按中国省市行政区划进行裁剪。该数据集融合CRU全球数据和WorldClim高分辨率数据,经496个站点验证,具有高时空精度和长时间序列特点,覆盖全国(含港澳台)逾百年气温记录,为气候变化研究、生态水文分析及农业生产评估等提供重要数据支撑。数据格式为Tif,单位为0.1℃,可获取全国、各省及各市三个尺度的气温栅格数据。

PPdata_Academy的博客 1244

【集成算法】

初始化方法:在`__init__`方法中,定义了网络的结构,包括两个卷积层(`conv1`和`conv2`)、两个最大池化层(`pool1`和`pool2`)以及两个全连接层(`fc1`和`fc2`)。以下是对这些核心内容的简要概述:1. 导入模块: - 导入了PyTorch库及其子模块,包括`torch`、`torch.nn`、`torch.optim`、`torch.nn.functional`和`torch.backends.cudnn`。通过集成不同模态的特征,可以提高识别的鲁棒性。

2502_90678230的博客 516

【WILEY】从Revision到Online:一次投稿的完整状态演进与关键节点实战解析

本文详细解析了从Revision到Online发表的完整投稿流程,包括修改稿准备、回复信撰写、状态跟踪等关键节点。特别针对Wiley期刊,提供了实用的操作技巧和常见问题解决方案,帮助作者高效完成论文修改与发表。

weixin_29219189的博客 366

集成学习结合策略——投票法

初识投票法的一点联想   其实第一次遇见集成学习中的投票法时候,会不由自主联系到leetcode 169. 多数元素和leetcode 229. 求众数 II中利用摩尔投票法求解问题。摩尔投票的基本思路如下: 找出一组数字序列中出现次数大于总数1/2的数字(并且假设这个数字一定存在)。显然这个数字只可能有一个。摩尔投票算法是基于这个事实:每次从序列里选择两个不相同的数字删除掉(或称为“抵消”),最后剩下一个数字或几个相同的数字,就是出现次数大于总数一半的那个。 作者:喝七喜 链接:https://www

面包猎人 3568

微信小程序 - 接入腾讯地图 SDK 及详细使用教程,结合小程序 mpa 地图组件展示腾讯地图(基础使用 / 授权当前位置 / 配合小程序map组件的使用 / 腾讯地图逆地址解析 / 坐标系的转化)

微信小程序使用腾讯地图完整流程,微信小程序 接入腾讯地图,如何在微信小程序中接入腾讯地图,微信小程序引入腾讯地图API方法,腾讯地图小程序SDK,微信小程序实现使用腾讯地图SDK步骤详细介绍,微信小程序接入腾讯地图(线路规划、逆解析)、高德地图,微信小程序之使用腾讯地图,微信小程序 接入第三方地图,小程序服务器配置地图,微信小程序接入腾讯地图,微信小程序插入腾讯地图教程,微信小程序如何调用腾讯地图,如何在微信小程序中接入腾讯地图,微信小程序腾讯地图SDK使用方法,在微信小程序上创建一个简单的腾讯地图,微信小

✅ 精选推荐文章 1万+

电机控制基础,小白入门篇

电机,这个藏在风扇、电动车、机器人里的“动力心脏”,如何精准控制它的转速、方向甚至力量?这篇博客专为完全零基础的小白打造,用“说人话”的方式拆解电机控制的底层逻辑,帮你从“看不懂电路图”到“能调个简单电机”。 电机控制不是“大神专属”,只要掌握“电生磁、磁生力”的底层逻辑,加上动手实践,小白也能快速入门。这篇博客会陪你从“看电机转”到“让电机听话”,把复杂的控制原理变成能上手玩的“小实验”。准备好你的面包板和电机,我们一起开启“电控之旅”吧!

汽车电子软件领域知识分享 5634

LeetCode题集 —— 多数元素——拓展摩尔投票法

题目一:多数元素 思路一:暴力求解 思路二:中位数 思路三:摩尔投票法 题目二:主要元素 题目三:多数元素 【2】

LYJbao的博客 2040

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

(七)集成学习中-投票法Voting

集成学习第一法宝:投票!

一颗爱学习的小同学 8446

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

集成学习之投票法(1)

这里写自定义目录标题集成学习之投票法与Bagging一、投票法的思路二、投票法的原理分析三、投票法的案例分析(基于sklearn,介绍pipe管道的使用以及voting的使用) 集成学习之投票法与Bagging 一、投票法的思路 核心:少数服从多数。 投票法是集成学习中常用的技巧,可以帮助我们提高模型的泛化能力,减少模型的错误率。 for example: 举个栗子,在航空航天领域,每个零件发出的电信号都对航空器的成功发射起到重要作用。如果我们有一个二进制形式的信号: 1110110010011100101

毛球饲养员 984

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

重温数据结构与算法之摩尔投票法

在统计学中,众数是一种重要的集中趋势指标,它表示一组数据中出现次数最多的那个值。此外在一个集合中,如果一个元素的出现次数比其他所有元素的出现次数之和还多,那么就称它为这个集合的绝对众数(等价地说,绝对众数的出现次数大于总元素数的一半)。例如,在{1,2,3,3,4}这组数据中,3就是众数,因为它出现了两次,而其他值都只出现了一次,但是没有绝对众数。寻找众数可以帮助我们了解数据的主要特征和分布情况,在某些场合下也可以作为数据代表或近似值。例如,在民意调查中,我们可能会关注哪个候选人得到了最多人的支持;

十十办文武的博客 1729

【集成算法】Bagging算法超详细解析

摘要 Bagging算法是一种经典的集成学习方法,通过自助采样生成多个子数据集,独立训练基学习器后采用投票或平均策略进行结果聚合。其核心优势在于降低模型方差、提升稳定性,尤其适用于高方差模型(如决策树)。算法流程分为三步:自助采样生成子数据集、并行训练基学习器、集成预测结果。数学原理表明,集成模型的方差是单模型的1/m,能有效防止过拟合。实战部分展示如何使用Python实现非线性分类任务,验证了Bagging在拟合复杂边界和提升模型鲁棒性方面的优势。该算法原理简单、易于实现且支持并行计算,是本科/研究生学习

DeepModel的博客 944
上一篇: 【集成算法】GBDT详解(梯度提升决策树)
下一篇: 【集成学习】因果推断详解
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值