《李宏毅机器学习》-task4

李宏毅2020机器学习作业4-RNN:句子情感分类 通过循环神经网络(Recurrent Neural Networks, RNN)对句子进行情感分类。给定一句句子,判断这句句子是正面还是负面的(正面标1,负面标0) 阅读详情

1.贝叶斯公式

在这里插入图片描述
(1)条件概率公式

    设A,B是两个事件,且P(B)>0,则在事件B发生的条件下,事件A发生的条件概率(conditional probability)为:

                 P(A|B)=P(AB)/P(B)

(2)乘法公式

     1.由条件概率公式得:

                   P(AB)=P(A|B)P(B)=P(B|A)P(A)    

         上式即为乘法公式;

     2.乘法公式的推广:对于任何正整数n≥2,当P(A1A2...An-1) > 0 时,有:

             P(A1A2...An-1An)=P(A1)P(A2|A1)P(A3|A1A2)...P(An|A1A2...An-1)

(3)全概率公式

    1. 如果事件组B1,B2,.... 满足

           1.B1,B2....两两互斥,即 Bi ∩ Bj = ∅ ,i≠j , i,j=1,2,....,且P(Bi)>0,i=1,2,....;

           2.B1∪B2∪....=Ω ,则称事件组 B1,B2,...是样本空间Ω的一个划分

      设 B1,B2,...是样本空间Ω的一个划分,A为任一事件,则:

在这里插入图片描述
上式即为全概率公式(formula of total probability)

(4)贝叶斯公式

  1.与全概率公式解决的问题相反,贝叶斯公式是建立在条件概率的基础上寻找事件发生的原因(即大事件A已经发生的条件下,分割中的小事件Bi的概率),设B1,B2,...是样本空间Ω的一个划分,则对任一事件A(P(A)>0),有

在这里插入图片描述

     上式即为贝叶斯公式(Bayes formula),Bi 常被视为导致试验结果A发生的”原因“,P(Bi)(i=1,2,...)表示各种原因发生的可能性大小,故称先验概率;P(Bi|A)(i=1,2...)则反映当试验产生了结果A之后,再对各种原因概率的新认识,故称后验概率。

  2.实例:发报台分别以概率0.6和0.4发出信号“∪”和“—”。由于通信系统受到干扰,当发出信号“∪”时,收报台分别以概率0.8和0.2受到信号“∪”和“—”;又当发出信号“—”时,收报台分别以概率0.9和0.1收到信号“—”和“∪”。求当收报台收到信号“∪”时,发报台确系发出“∪”的概率。

     解:设...., P(B1|A)= (0.6*0.8)/(0.6*0.8+0.4*0.1)=0.923

2.先验概率

先验(Apriori;又译:先天)在拉丁文中指“来自先前的东西”,或稍稍引申指“在经验之前”。近代西方传统中,认为先验指无需经验或先于经验获得的知识。它通常与后验知识相比较,后验意指“在经验之后”,需要经验。这一区分来自于中世纪逻辑所区分的两种论证,从原因到结果的论证称为“先验的”,而从结果到原因的论证称为“后验的”。

先验概率:是指根据以往经验和分析得到的概率

意思是说我们人有一个常识,比如骰子,我们都知道概率是1/6,而且无数次重复实验也表明是这个数,这是一种我们人的常识,也是我们在不知道任何情况下必然会说出的一个值.而所谓的先验概率是我们人在未知条件下对事件发生可能性猜测的数学表示!*

3.后验概率

后验概率是在考虑了一个事实之后的条件概率. 先验概率通常是经验丰富的专家的纯主观的估计.

后验概率:事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小

举个栗子:

首先我想问一个问题,桌子上如果有一块肉喝一瓶醋,你如果吃了一块肉,然后你觉得是酸的,那你觉得肉里加了醋的概率有多大?你说:80%可能性加了醋.OK,你已经进行了一次后验概率的猜测.没错,就这么简单.
在这里插入图片描述
我们设A为加了醋的概率,B为吃了之后是酸的概率.C为肉变质的概率
在这里插入图片描述

4.逻辑回归和线性回归的联系与区别

1.逻辑回归和线性回归都是广义的线性回归
2.线性回归中使用的是最小化平方误差损失函数,对偏离真实值越远的数据惩罚越严重。逻辑回归使用对数似然函数进行参数估计,使用交叉熵作为损失函数,对预测错误的惩罚是随着输出的增大,逐渐逼近一个常数。正是因为使用的参数估计的方法不同,线性回归模型更容易受到异常值(outlier)的影响。
3.LR在线性回归的实数范围输出值上施加sigmoid函数将值收敛到0~1范围, 其目标函数也因此从差平方和函数变为对数损失函数, 以提供最优化所需导数(sigmoid函数是softmax函数的二元特例, 其导数均为函数值的f*(1-f)形式)。请注意, LR往往是解决二元0/1分类问题的, 只是它和线性回归耦合太紧, 不自觉也冠了个回归的名字(马甲无处不在). 若要求多元分类,就要把sigmoid换成大名鼎鼎的softmax了。
4.线性回归的输出是时域上的连续值,逻辑回归的输出被sigmoid函数映射到[0, 1],通过设置阈值转换成分类类别。

附:LR和SVM的关系

1、LR和SVM都可以处理分类问题,且一般都用于处理线性二分类问题(在改进的情况下可以处理多分类问题)
2、两个方法都可以增加不同的正则化项,如l1、l2等等。所以在很多实验中,两种算法的结果是很接近的。
区别:
1、LR是参数模型,SVM是非参数模型。
2、从目标函数来看,区别在于逻辑回归采用的是logistical loss,SVM采用的是hinge loss,这两个损失函数的目的都是增加对分类影响较大的数据点的权重,减少与分类关系较小的数据点的权重。
3、SVM的处理方法是只考虑support vectors,也就是和分类最相关的少数点,去学习分类器。而逻辑回归通过非线性映射,大大减小了离分类平面较远的点的权重,相对提升了与分类最相关的数据点的权重。
4、逻辑回归相对来说模型更简单,好理解,特别是大规模线性分类时比较方便。而SVM的理解和优化相对来说复杂一些,SVM转化为对偶问题后,分类只需要计算与少数几个支持向量的距离,这个在进行复杂核函数计算时优势很明显,能够大大简化模型和计算。
5、logic 能做的 svm能做,但可能在准确率上有问题,svm能做的logic有的做不了。

5.推导sigmoid公式

参考文献

https://blog.youkuaiyun.com/jiaoyangwm/article/details/81139362
https://www.cnblogs.com/ohshit/p/5629581.html

李宏毅机器学习作业 李宏毅机器学习作业,文档文件,笔记全面,总结充分,仅供学习 立即下载

相关推荐

李宏毅 机器学习 课程作业代码

李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码

机器学习--贝叶斯模型(6)

一、概念及公式 1.1 条件概率公式 ①、 设A、B是两个事件,且P(A)>0, 称 P(B|A)=P(AB)/P(A) 为在事件A发生的条件下事件B发生的条件概率。 其中P(A|B) = P(B|A)P(A) / P(B) 为贝叶斯公式 如果事件B1、B2、B3…Bn 构成一个完备事件组,即它们两两互不相容,其和为全集;并且P(Bi)大于0,则对任一事件A有 P(A)=P(A|B1)*P(B1) + P(A|B2)*P(B2) + … + P(A|Bn)*P(Bn).为全概率公式 1.2 变形得

u010671028的博客 2011

李宏毅深度学习HW1数据集test.csv

本资源为台大李宏毅深度学习课程作业数据集。

李宏毅_机器学习_作业4(详解)_HW4 Classify the speakers

李宏毅_机器学习_作业4(详解)_HW4 Classify the speakers

loco_monkey的博客 6638

李宏毅机器学习讲义

台大李宏毅老师的2017年机器学习课程系列学习笔记。今天我们先来看一下该系列课程的内容简介。从本质上来讲,机器学习可以分为三部分:函数集(也就是model)、评价函数好坏的标准、训练集。该课程中机器学习的大致内容包括:有监督学习、无监督学习、半监督学习、回归、分类、迁移学习、结构化学习、强化学习。

zemax混合式非序列模拟

注意不要点击左侧的非序列模式,那个时纯粹的非序列,会清除序列模式的数据。第2、4、6透镜材质为空气,是为了让光线进入到多重透镜内部。这时普通的优化方式会失败。平行光束经过多焦透镜时,会汇聚在不同焦距处。所以还需要控制能量的大小,进行优化。接下来用非序列模式设计一个多焦透镜。像面的孔径为圆形通光孔:0-1.2。透镜不同位置处有不同的聚焦位置。透镜的z轴位置相同,重合。

fendoudecheng的博客 3071

李宏毅机器学习hw4 Boss baseline(2023)

分类任务,每条数据是时间序列,长度128,特征维度402023ML课程网站以上可能需要科学上网。

asf2013的博客 696

线上专利申请(超详细)| 签名确认

在【法人登录】页面点击【证书登录】按钮,弹出证书登录提示框,点击【确 认】按钮,进入到输入证书密码页面,点击【取消】按钮,取消本次操作。企业在提交申请时,需要增加签名,如使用企业账户点击提交,会弹出“法人、代理机构不能签名,请使用经办人签名”,这个时候就需要换个账号了。在需要签名时,将专利官网的登录方式点击法人登录,选择扫码登录,使用移动端经办人账户的扫一扫功能扫描登录。登录完成后,再点击签名,使用移动端扫一扫功能,扫描签名,输入证书号,确认签名,并提交。最后,祝大家的申请都成功!

weixin_62112323的博客 9114

李宏毅机器学习(四)

此篇博文是基于李宏毅老师此视频的学习总结。此部分主要介绍,Logistic Regression模型。 一、课程部分内容记录 (1) Logistics Regression和Linear Regression对比 Logistics Regression Linear Regression Step 1: fw,b(x)=σ(∑iwixj+b)f_{w,b}(x) = \s...

Cjv的博客 541

txt经纬度批量转面要素(附自定义ArcGIS工具箱方法)

当涉及大量txt坐标文件需要转换成面要素的时候,逐步操作工作量较大。本文由需求出发,以ArcGIS10.2为例,采用python脚本自定义ArcGIS工具,实现批量操作的目的。

m0_59216200的博客 1821

Concentration Inequality(集中不等式)更新版

欢迎来我博客 https://wyue.name/2020/04/17/1/阅读这一篇博文 转载前请联系我,联系方式请见我博客 https://wyue.name/ Concentration inequality 刻画了一组随机变量的和(或者样本平均数)与其期望值的偏离程度,在算法收敛性分析过程中是非常有用的一类不等式。 这次主要总结一下最近一段时间遇到的集中不等式,不仅是不等式形式,...

Yue的博客 4555

DW李宏毅机器学习Task4

1、Deep Learning 的历史 1958:Perceptron(linear model) 1969:Perceptron has limitation 1980s:Multi-layer perceptron (Do not have significant difference from DNN today) 1986:Backpropagation (Usually more than 3 hidden layers is not helpful) 1989:1 hidden layer i

momokofly的博客 252

Codesys电子凸轮从入门到应用:手把手教你用MC_CamIn/MC_CamOut实现主从轴同步

本文详细介绍了如何在Codesys平台上使用MC_CamIn和MC_CamOut功能块实现电子凸轮的主从轴同步控制。从环境配置、轴使能到凸轮表创建与动态切换,提供了完整的程序编写指南和调试技巧,帮助工程师快速掌握工业自动化中的高精度运动控制技术。

weixin_26878995的博客 278

【李宏毅机器学习CP4】(task2)回归+Python Basics with Numpy

文章目录回归演示 回归演示 现在假设有10个x_data和y_data,x和y之间的关系是y_data=b+w*x_data。b,w都是参数,是需要学习出来的。现在我们来练习用梯度下降找到b和w。 import numpy as np import matplotlib.pyplot as plt from pylab import mpl # matplotlib没有中文字体,动态解决 plt.rcParams['font.sans-serif'] = ['Simhei'] # 显示中文 mpl.rc

发现问题,并解决问题,批判性思维 1363

【华为OD机试真题】65、高矮个子排队 | 机试真题+思路参考+代码解析 (C++、Java、Py、C语言、JS)

题目描述 >现在有一队小朋友,他们高矮不同,我们以正整数数组表示这一队小朋友的身高,如数组{5,3,1,2,3}。 >  我们现在希望小朋友排队,以"高" "矮" "高" "矮" 顺序排列,每一个高位置的小朋友要比相邻的位置高或者相等;每个 "矮" 位置的小朋友要比相邻的位置矮或者相等; >  要求小朋友们移动的距离和最小,第一个从“高"位开始排,输出最小移动距离即可。 >  例如,在示范小队{5,3,1,2,3}中, {5, 1, 3, 2, 3}是排序结果。 > 

KJ.JK 2105

置顶必读(1) | 《YOLOv26实战:从入门到深度优化》专栏导读与完整目录导航(持续更新中)

🏆 本文收录于 《YOLOv26实战:从入门到深度优化》 专栏。 本专栏系统梳理并持续复现 YOLOv26 官方特性、核心改进、多任务支持、部署优化与行业落地,内容坚持 持续更新 + 深度拆解 + 工程落地导向,不仅讲“怎么用”,更讲“为什么这样设计、如何真正落地到项目中”。

**My Coding Family** 9万+

李宏毅机器学习 Machine_Learning_2019_Task 4_Part I

学习目标 理解概率模型 从基础概率推导贝叶斯公式以及朴素贝叶斯公式 贝叶斯推论 什么是贝叶斯定理(Bayes Theorem)

Crafts_Neo的博客 804

51单片机 DHT11温湿度传感器LCD显示+串口打印+Proteus仿真

DHT11+LCD1602+串口输出+Proteus仿真

perseverance51博客 7201

【李宏毅机器学习CP21】(task6)卷积神经网络

学习心得/总结 (1)CNN误差反向传播的细节可以参考《深度学习的数学》P200的5.5部分,还没看。 (2)卷积层可通过重复使用卷积核有效地表征局部空间,卷积核(过滤器filterfilterfilter)通过卷积的计算结果(相似度)表示该卷积核和扫描过的图像块的灰色格子部分相吻合的个数——该值越大则说明越符合卷积核的偏好程度。 ——卷积的结果矩阵为特征映射(featurefeaturefeature mapmapmap) (3)说到内积,要和HadamardHadamardHadamard乘积区分,后者

发现问题,并解决问题,批判性思维 1596

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

【李宏毅机器学习2021】Task02 回归

本系列是针对datawhale《李宏毅机器学习-2022 10月》的学习笔记。本次是对回归的学习总结。本节通过视频学习到回归任务的提出,三个要素,及如何优化。李老师通过层层递进,提出问题解决问题的方式不断打磨方法,从中介绍回归任务的始末,引出深度学习及网络加深伴随的过拟合问题。

QAQterrible的博客 1002

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

台大李宏毅机器学习作业4(HW4)——可解释机器学习

最近刚开始学习机器学习,看的是台湾大学李宏毅老师的视频课程Machine Learning 2019,李宏毅老师课程共有8个作业,在网上大约可以搜到前三个作业的解答,分别是PM2.5预测,人薪酬的二分类和表情分类,我在做这三次作业中主要参考了秋沐霖的三篇博客,链接如下: 作业1:线性回归预测PM2.5----台大李宏毅机器学习作业1(HW1) 作业2:Logistic回归预测收入----台大李宏毅...

Horizon2333的博客 3815

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

《李宏毅机器学习》task1

1.什么是机器学习 2.中心极限定理、正态分布、最大似然估计 3.线性回归loss function推导 4.损失函数和凸函数之间的关系

devcy的博客 316

《李宏毅机器学习》task7

import numpy as np import pandas as pd def cancShannonEnt(dataSet): ''' :param dataSet: dataSet :return: shannonEnt ''' # 计算公式前,注意数据的格式(array) numEntries = len(dataSet) # 获取数据的行数 labe...

devcy的博客 208

《李宏毅机器学习》task2

《李宏毅机器学习》task21.偏差和方差学习误差由偏差和方差而产生过拟合,欠拟合2.鞍点,全局最优和局部最优3.梯度下降Mini-Batch与SGDBatch与Mini-Batch,SGD的区别如何根据样本大小选择哪个梯度下降写出SGD和Mini-Batch的代码4.交叉验证5.归一化6.回归模型评价指标 1.偏差和方差 学习误差由偏差和方差而产生 偏差与方差分别是用于衡量一个模型泛化误差的...

devcy的博客 424

DW李宏毅机器学习笔记--Task01-机器学习介绍

文章目录前言一、机器学习介绍1.人工智能、机器学习、深度学习之间的关系2.Hand-crafted rules与Machine learning3.机器学习的思路二、机器学习相关的技术1.监督学习A.回归(Regression)问题分类(Classification)问题Deep Learning2.半监督学习迁移学习无监督学习监督学习中的结构化学习(structured learning)强化学习总结 前言 这是我在Datawhale组队学习李宏毅机器学习的记录,既作为我学习过程中的一些记录,也供同好们

StarryPilgrim 449

《李宏毅机器学习》task5

《李宏毅机器学习》task5推导LR损失函数(1)学习LR梯度下降(2)利用代码描述梯度下降(选做)(3)Softmax原理(4)softmax损失函数(5)softmax梯度下降(6)参考文献 推导LR损失函数(1) 假定: LR逻辑回归假设样本服从泊松0–1分布,因此p(y|x)表达式: 求最大似然估计: 进而求最大对数似然估计: 损失函数: 损失函数表征预测值与真实值之间的差异程度...

devcy的博客 436
上一篇: TensorFlow mnist数字识别
下一篇: 《李宏毅机器学习》task5
程序员椰子橙
博客等级 码龄9年 46粉丝 163原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值