Bayes optimal

最新推荐文章于 2024-07-30 17:39:55 发布
最新推荐文章于 2024-07-30 17:39:55 发布
阅读量1k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： ML theory 文章标签： parameters processing methods features each
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/magicblue/article/details/1475284
本文探讨了贝叶斯最优决策的概念及其在机器学习、模式识别领域的应用。通过生动的例子解释了理论（模型）在问题空间中的作用，并对比了不同决策方法如最大后验概率（MAP）与最大似然估计（MLE）的区别。

as its name, bayes optimal decision is the best decision over all decisions, however it is impossible to working out solutions because it requires to summing out all hypothese. you can't obtain ALL hypothese.

in <<Machine Learning>>, its definition is:

in <<Pattern Recognition>>:

 

in <<Foundations of Statistical Natural Language Processing>>:

"Suppose that we did not actually see the sequence of coin tosses but just heard the results shouted out over the fence. Now it may be the case, as we have assumed so far, that the results reported truly reflect the results of tossing a single, possibly weighted coin. This is the theory 'u' which is a family of models, with a parameter representing the weighting of the coin. But an alternative theory is that at each step someone is tossing two fair coins, and calling out "tails" if both of them come down tails, and heads otherwise."

this explanation is very vivid. hypothese or parameters is a theory(model) in problem space. following is some metaphors:

ideal categorizations about texts ------- methods(hypothese; theory; modal): SVM, KNN, Bayes... ------- a specified category

mathematical reasoning ------- programming languages ------- codes

thinkings ------- natural languages ------- text or speech

probability distribution about pattern recognition decision ------- kinds of distribution & parameters for them ------- a decision

M.A.P (P(x|a)P(a)) ------- M.L (P(x|a)) ------- result (x)

speech ------- HMM ------- meaning underlying natural language

a concept in world ------- operations of features ------- a pattern

 

【机器学习-西瓜书】第7章 贝叶斯分类器
wayaya112的博客
04-01 3374
7.1 贝叶斯决策论 (Bayesian Decision Theory) 在所有相关概率都已知的情况下，贝叶斯决策论考虑的是：如何基于这些概率和误判损失来选择最优的类别标记。 以多分类任务为例解释BDT的基本原理 表示 将真实标记 cj 的样本误分类为 ci 所产生的损失。基于后验概率可得到 将样本 x 分类为 ci 所产生的期望损失： 我们的目标是：寻找一个判定准则以最小化总体风险： 贝叶斯判定准则：为最小化总体风险，只需 在每个样本上选择那个能使条件风险 R( c|x...
机器学习----贝叶斯分类器（贝叶斯决策论和极大似然估计）
欢迎来到我的酒馆
04-12 6804
贝叶斯决策论贝叶斯决策论（Bayesian decision theory）是概率框架下实施决策的基本方法。在所有相关概率都已知的理想情况下，贝叶斯决策论考虑如何基于这些概率和误判断来选择最优的类别标记。
理解 Bayes optimal error 贝叶斯最优误差
Pinkgranite86的博客
11-09 4862
最近学习ML项目构建的时候涉及到“极限模型”的问题，其中谈到贝叶斯最优误差即系统所能达到的最低误差，那么贝叶斯误差是什么呢？在看过一些资料后，以下是我的总结以及一些个人想法： 贝叶斯最优误差是已知真实分布前提下的最优误差 这里可能产生的疑问：既然已知了真实的分布，那么为什么会有误差呢？ 需要注意的，贝叶斯最优误差针对的是“分类问题”，即给出确切的类别而并非给出一个分布。事实上，如果我们需要给出的是一个分布那么在已知的前提下当然是不可能存在误差的。举一个例子：在气象预测系统中，假设我们已知真实分布 一周
什么是贝叶斯优化（Bayesian Optimization）？
小黄人的博客
07-30 1万+
贝叶斯最优化（Bayesian Optimization）是一种用于函数全局最优化的策略，特别适用于那些计算代价昂贵的黑箱函数（如机器学习模型的超参数调优）。其核心思想是通过构建一个代理模型（通常是高斯过程或随机森林），逐步选择最优的参数，从而有效地找到全局最优解。贝叶斯最优化能够在不需要大量计算资源的情况下，有效探索参数空间，具有更高效、更严密的特点。
贝叶斯决策论
changsoon
05-17 4083
贝叶斯决策论
贝叶斯学习（Bayesian Learning）提高篇
nine_mink的博客
04-23 1500
本文将基于UoA的课件，连接上一篇博文介绍机器学习中的贝叶斯。看不太懂的读者请先阅读：贝叶斯学习（Bayesian Learning）基础篇涉及的英语比较基础，所以为节省时间（不是full-time，还有其他三门课程，所以时间还是比较紧的），只在我以为需要解释的地方进行解释。此文不用于任何商业用途，仅仅是个人学习过程笔记以及心得体会，侵必删。
贝叶斯学习（Bayesian Learning）基础篇
nine_mink的博客
04-23 4746
本文将基于UoA的课件介绍机器学习中的贝叶斯。涉及的英语比较基础，所以为节省时间（不是full-time，还有其他三门课程，所以时间还是比较紧的），只在我以为需要解释的地方进行解释。此文不用于任何商业用途，仅仅是个人学习过程笔记以及心得体会，侵必删。
Sparse_Kernels_for_Bayes_Optimal_DA.zip_matlab例程_matlab_
08-12
标题中的"Sparse_Kernels_for_Bayes_Optimal_DA"提到了稀疏核与贝叶斯最优领域适应（Domain Adaptation）的概念。在机器学习领域，稀疏核是一种高效的手段，用于构建非线性模型，它能以低维表示处理高维数据，减少...
机器学习之贝叶斯分类器
weixin_44153121的博客
02-20 4644
贝叶斯决策论(Bayesian decision theory)是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都己知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。GaussianNB 实现了运用于分类的高斯朴素贝叶斯算法。MultinomialNB 实现了服从多项分布数据的朴素贝叶斯算法。ComplementNB实现了补充朴素贝叶斯(CNB)算法。
import matplotlib.pyplot as plt import setup_problem from sklearn.base import BaseEstimator, RegressorMixin import numpy as np import nodes import graph import plot_utils #import pdb #pdb.set_trace() #useful for debugging! class MLPRegression(BaseEstimator, RegressorMixin): """ 基于计算图的MLP实现 """ def __init__(self, num_hidden_units=10, step_size=.005, init_param_scale=0.01, max_num_epochs = 5000): self.num_hidden_units = num_hidden_units self.init_param_scale = 0.01 self.max_num_epochs = max_num_epochs self.step_size = step_size # 开始构建计算图 self.x = nodes.ValueNode(node_name="x") # to hold a vector input self.y = nodes.ValueNode(node_name="y") # to hold a scalar response # 参数初始化节点 self.W1 = nodes.ValueNode("W1") self.b1 = nodes.ValueNode("b1") self.W2 = nodes.ValueNode("W2") self.b2 = nodes.ValueNode("b2") # 隐藏层计算 self.affine1 = nodes.AffineNode(self.W1, self.x, self.b1, "affine1") self.tanh = nodes.TanhNode(self.affine1, "tanh") # 输出层计算 self.affine2 = nodes.AffineNode(self.W2, self.tanh, self.b2, "affine2") self.prediction = self.affine2 # 损失函数计算 self.loss = nodes.SquaredL2DistanceNode(self.prediction, self.y, "loss") # 正则化项 self.reg_W1 = nodes.L2NormPenaltyNode(l2_reg=0.01, w=self.W1, node_name="reg_W1") self.reg_W2 = nodes.L2NormPenaltyNode(l2_reg=0.01, w=self.W2, node_name="reg_W2") self.total_loss = nodes.SumNode(self.loss, self.reg_W1, "total_loss") self.objective = nodes.SumNode(self.total_loss, self.reg_W2, "objective") # 构建计算图 self.graph = graph.ComputationGraphFunction( inputs=[self.x], outcomes=[self.y], parameters=[self.W1, self.b1, self.W2, self.b2], prediction=self.prediction, objective=self.objective ) ## TODO ## Hint： 根据PPT中给定的图，来构建MLP def fit(self, X, y): num_instances, num_ftrs = X.shape y = y.reshape(-1) ## TODO: 初始化参数（小的随机数——不是全部为0，以打破对称性） s = self.init_param_scale init_values = None ## TODO，在这里进行初始化，hint：调用np.random.standard_normal方法 self.graph.set_parameters(init_values) for epoch in range(self.max_num_epochs): shuffle = np.random.permutation(num_instances) epoch_obj_tot = 0.0 for j in shuffle: obj, grads = self.graph.get_gradients(input_values = {"x": X[j]}, outcome_values = {"y": y[j]}) #print(obj) epoch_obj_tot += obj # Take step in negative gradient direction steps = {} for param_name in grads: steps[param_name] = -self.step_size * grads[param_name] self.graph.increment_parameters(steps) if epoch % 50 == 0: train_loss = sum((y - self.predict(X,y)) **2)/num_instances print("Epoch ",epoch,": Ave objective=",epoch_obj_tot/num_instances," Ave training loss: ",train_loss) def predict(self, X, y=None): try: getattr(self, "graph") except AttributeError: raise RuntimeError("You must train classifer before predicting data!") num_instances = X.shape[0] preds = np.zeros(num_instances) for j in range(num_instances): preds[j] = self.graph.get_prediction(input_values={"x":X[j]}) return preds def main(): #lasso_data_fname = "lasso_data.pickle" lasso_data_fname = r"C:\Users\XM_Ta\OneDrive\Desktop\1120223544-汤阳光-实验四\Question\lasso_data.pickle" x_train, y_train, x_val, y_val, target_fn, coefs_true, featurize = setup_problem.load_problem(lasso_data_fname) # Generate features X_train = featurize(x_train) X_val = featurize(x_val) # Let's plot prediction functions and compare coefficients for several fits # and the target function. pred_fns = [] x = np.sort(np.concatenate([np.arange(0,1,.001), x_train])) pred_fns.append({"name": "Target Parameter Values (i.e. Bayes Optimal)", "coefs": coefs_true, "preds": target_fn(x)}) estimator = MLPRegression(num_hidden_units=10, step_size=0.001, init_param_scale=.0005, max_num_epochs=5000) x_train_as_column_vector = x_train.reshape(x_train.shape[0],1) # fit expects a 2-dim array x_as_column_vector = x.reshape(x.shape[0],1) # fit expects a 2-dim array estimator.fit(x_train_as_column_vector, y_train) name = "MLP regression - no features" pred_fns.append({"name":name, "preds": estimator.predict(x_as_column_vector) }) X = featurize(x) estimator = MLPRegression(num_hidden_units=10, step_size=0.0005, init_param_scale=.01, max_num_epochs=500) estimator.fit(X_train, y_train) name = "MLP regression - with features" pred_fns.append({"name":name, "preds": estimator.predict(X) }) plot_utils.plot_prediction_functions(x, pred_fns, x_train, y_train, legend_loc="best") if __name__ == '__main__': main() 请帮我补充上述代码
05-29
好的，我现在需要帮助用户补充完整MLP回归模型的代码，特别是参数初始化和计算图构建部分。用户之前提供的代码中有几个关键部分需要完成，包括MLPRegression类的__init__方法中的计算图构建，以及fit方法中的参数...
Ensemble_learning 集成学习算法 stacking 算法
weixin_34163741的博客
12-16 697
原文：https://herbertmj.wikispaces.com/stacking%E7%AE%97%E6%B3%95 stacked 产生方法是一种截然不同的组合多个模型的方法，它讲的是组合学习器的概念，但是使用的相对于bagging和boosting较少，它不像bagging和boosting，而是组合不同的模型，具体的过程如下：1.划分训练数据集为两个不相交的集合。2. 在第一个集合...
机器学习基础（六）：贝叶斯分类（贝叶斯决策论、朴素/半朴素贝叶斯分类器、贝叶斯网、EM算法）
zero_ling
09-27 3904
6、贝叶斯分类 6.1贝叶斯决策论Bayesian decision theory 概率框架下实施决策的基本方法。 对分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。 贝叶斯判定准则Bayes decision rule：为最小化总体风险，只需在每个样本上选择那个能使条件风险最小的类别标记，即，h* 称为贝叶斯最优分类器Bayes optimal classifier，与之对应的总体风险R(h*)称为贝叶斯风险Bayes risk，1-R(h
【周志华机器学习】七、贝叶斯分类器
weixin_42301220的博客
04-06 3368
文章目录参考资料1. 基本概念1.1 贝叶斯公式1.2 贝叶斯决策论1.3 极大似然法2. 朴素贝叶斯分类器3. 半朴素贝叶斯分类器4. EM算法4.1 EM算法思想4.2 EM算法数学推导4.3 EM算法流程 参考资料 Machine-learning-learning-notes LeeML-Notes ML-NLP 本博客为作者根据周志华的西瓜书和参考资料1、2、3所做的笔记，主要用于学习，非技术类博客，因此存在大量复制粘贴，请见谅。 如果本篇博客有后记部分，则该部分表示的是在书本原有的基础知
bayes 算法 python代码实现
Super__koo的博客
10-15 1013
#bayes 算法 python代码实现（数据来源：https://github.com/fuqiuai/lihang_algorithms/blob/master/naive_bayes/naive_bayes.py） import numpy as np import pandas as pd from sklearn.cross_validation import train_test_s...
条件概率 -- P(A|B) P(B|A)
凡森
11-23 1万+
question:早餐P(A) = 0.6 午餐P(B) = 0.5P(A|B) = 0.7 - 意味着：A B 有依赖； 求P(B|A)求解P(A and B) = P(A|B)P(B) = P(B|A)P(A)
贝叶斯分类器笔记
weixin_41940752的博客
06-13 812
贝叶斯神经网络的优点是可以根据较少的数据得到较为solid的模型，而且得到的是各层参数的分布（一般假设各层参数 wi,bi 服从高斯分布，根据训练集数据计算得出 wi,bi 的均值和方差），从而得到 p(W| X,Y) , 可以有效的解决过拟合的问题，不仅可以对结果进行预测，还可以对结果的误差进行有效预测。 贝叶斯公式： 由于 p(W| X,Y) 的概率分布复杂，难以求得均值方差等，因此贝叶斯神...
Machine Learning 中Bayes
沉淀
05-18 1061
 1.         当提供假设： P(Hi) = P(Hj) MAP = ML即 贝叶斯最大后验假设  等于 最大可能Maximum likelihood 很多时候都是用 ML 来代替 MAP   maxP(h | D)=max P(D|h)   max return ‘h假设’2.         考一考： Bayes formulas ，全概率公司用贝叶斯 来刻画衡量
朴素贝叶斯（Naive Bayes）详解
热门推荐
weixin_60737527的博客
07-15 3万+
贝叶斯决策论、朴素贝叶斯原理与算法实现、具体应用。
用Python设计自主学习系统后端【附万字论文+PPT+包部署+录制讲解视频】.zip
最新发布
09-11
标题基于Python的自主学习系统后端设计与实现AI更换标题第1章引言介绍自主学习系统的研究背景、意义、现状以及本文的研究方法和创新点。1.1研究背景与意义阐述自主学习系统在教育技术领域的重要性和应用价值。1.2国内外研究现状分析国内外在自主学习系统后端技术方面的研究进展。1.3研究方法与创新点概述本文采用Python技术栈的设计方法和系统创新点。第2章相关理论与技术总结自主学习系统后端开发的相关理论和技术基础。2.1自主学习系统理论阐述自主学习系统的定义、特征和理论基础。2.2Python后端技术栈介绍DjangoFlask等Python后端框架及其适用场景。2.3数据库技术讨论关系型和非关系型数据库在系统中的应用方案。第3章系统设计与实现详细介绍自主学习系统后端的设计方案和实现过程。3.1系统架构设计提出基于微服务的系统架构设计方案。3.2核心模块设计详细说明用户管理、学习资源管理、进度跟踪等核心模块设计。3.3关键技术实现阐述个性化推荐算法、学习行为分析等关键技术的实现。第4章系统测试与评估对系统进行功能测试和性能评估。4.1测试环境与方法介绍测试环境配置和采用的测试方法。4.2功能测试结果展示各功能模块的测试结果和问题修复情况。4.3性能评估分析分析系统在高并发等场景下的性能表现。第5章结论与展望总结研究成果并提出未来改进方向。5.1研究结论概括系统设计的主要成果和技术创新。5.2未来展望指出系统局限性并提出后续优化方向。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值