《统计学习方法》(第十章)——隐马尔科夫模型

中文命名实体识别:基于PyTorch的多模型中文命名实体识别 命名实体识别作为序列标注类的典型任务,其使用场景特别广泛。本项目基于PyTorch搭建HMM、CRF、BiLSTM、BiLSTM+CRF及BERT模型,实现中文命名识别任务,部分内容参考了https://zhuanlan.zhihu.com/p/61227299,全部代码链接上可找。 数据集 数据集来源于ACL 2018Chinese NER using Lattice LSTM论文中从新浪财经收... 阅读详情

隐马尔科夫模型的基本概念

隐马尔科夫模型的定义

  关于时间序列得模型,描述由一个隐藏得马尔可夫链随机生成不可观测得状态随机序列,再由状态生成一个观测从而产生观测随机序列得过程。隐藏得马尔可夫链随机生成得状态序列,称为状态序列;每个状态生成一个观测,而由此产生的观测随机序列,称为观测序列。序列的每个位置又可以看作是一个时刻
Q={q1,q2,..qN},V={v1,v2,..,vM}Q=\{q_1,q_2,..q_N\},V=\{v_1,v_2,..,v_M\}Q={q1​,q2​,..qN​},V={v1​,v2​,..,vM​}
其中QQQ为所有可能的状态集合,VVV是所有的观测集合
I={i1,i2,...,iN},O={o1,o2,...,oT}I=\{i_1,i_2,...,i_N\},O=\{o_1,o_2,...,o_T\}I={i1​,i2​,...,iN​},O={o1​,o2​,...,oT​}
III是状态序列,OOO是观测序列
转移矩阵
A=[aij]N×NA=[a_{ij}]_{N \times N}A=[aij​]N×N​
aij=P(it+1=qj∣it=qi)a_{ij}=P(i_{t+1}=q_j|i_t=q_i)aij​=P(it+1​=qj​∣it​=qi​)
观测矩阵
B=[bj(k)]N×MB=[b_j(k)]_{N \times M}B=[bj​(k)]N×M​
bj(k)=P(ot=vk∣it=qj)b_j(k)=P(o_t=v_k|i_t=q_j)bj​(k)=P(ot​=vk​∣it​=qj​)
初始状态概率向量
π=(πi),     πi=P(i1=qi)\pi=(\pi_i),\ \ \ \ \ \pi_i=P(i_1=q_i)π=(πi​),     πi​=P(i1​=qi​)
因此隐马尔科夫模型
λ=(A,B,π)\lambda=(A,B,\pi)λ=(A,B,π)表示
又定义知作了两个假设
P(it∣it−1,ot−1,...,i1,o1)=P(it∣it−1)P(i_t|i_{t-1},o_{t-1},...,i_1,o_1)=P(i_t|i_{t-1})P(it​∣it−1​,ot−1​,...,i1​,o1​)=P(it​∣it−1​)
P(ot∣iT,oT,....,i1,o1)=P(ot∣it)P(o_t|i_T,o_T,....,i_1,o_1)=P(o_t|i_t)P(ot​∣iT​,oT​,....,i1​,o1​)=P(ot​∣it​)

观测序列的生成

输入:隐马尔可夫模型λ=(A,B,π),\lambda=(A,B,\pi),λ=(A,B,π),观测序列长度TTT
输出:观测序列O=(o1,o2,...,oT)O=(o_1,o_2,...,o_T)O=(o1​,o2​,...,oT​)
(1)(1)(1)按照初始状态分布π\piπ产生状态i1i_1i1​
(2)(2)(2)令t=1t=1t=1
(3)(3)(3)按照状态iti_tit​的观测概率分布bit(k)b_{i_t}(k)bit​​(k)生成oto_tot​
(4)(4)(4)按照状态iti_tit​的状态转移概率分布产生it+1i_{t+1}it+1​
(5)(5)(5)t=t+1t=t+1t=t+1如果t<Tt \lt Tt<T则(3)(3)(3)否则终止

隐马尔科夫模型的3个基本问题

  • 概率计算问题
    已知λ=(A,B,π),O=(o1,o2,..,oT)\lambda=(A,B,\pi),O=(o_1,o_2,..,o_T)λ=(A,B,π),O=(o1​,o2​,..,oT​)计算P(O∣λ)P(O|\lambda)P(O∣λ)
  • 学习问题
    已知O=(o1,o2,..,oT)O=(o_1,o_2,..,o_T)O=(o1​,o2​,..,oT​),估计λ\lambdaλ使得P(O∣λ)P(O|\lambda)P(O∣λ)最大
  • 预测问题
    已知λ,O=(o1,o2,..,oT)\lambda,O=(o_1,o_2,..,o_T)λ,O=(o1​,o2​,..,oT​)求P(I∣O)P(I|O)P(I∣O)

概率计算算法

直接计算法

P(I∣λ)=πitai1i2ai2i3...aiT−1iTP(I|\lambda)=\pi_{i_t}a_{i_1i_2}a_{i_2i_3}...a_{i_{T-1}i_T}P(I∣λ)=πit​​ai1​i2​​ai2​i3​​...aiT−1​iT​​
P(O∣I,λ)=bi1(o1)bi2(o2)...biT(oT)P(O|I,\lambda)=b_{i_1}(o_1)b_{i_2}(o_2)...b_{i_T}(o_T)P(O∣I,λ)=bi1​​(o1​)bi2​​(o2​)...biT​​(oT​)
P(O,I∣λ)=P(O∣I,λ)P(I∣λ)P(O,I|\lambda)=P(O|I,\lambda)P(I|\lambda)P(O,I∣λ)=P(O∣I,λ)P(I∣λ)
=πi1bi1(o1)πi2bi2(o2)...πiTbiT(oT)=\pi_{i_1}b_{i_1}(o_1)\pi_{i_2}b_{i_2}(o_2)...\pi_{i_T}b_{i_T}(o_T)=πi1​​bi1​​(o1​)πi2​​bi2​​(o2​)...πiT​​biT​​(oT​)
P(O∣λ)=∑IP(O∣I,λ)P(I∣λ)P(O|\lambda)=\sum\limits_{I}P(O|I,\lambda)P(I|\lambda)P(O∣λ)=I∑​P(O∣I,λ)P(I∣λ)
但是计算复杂度太高

前向计算法

定义at(i)=P(o1,o2,...,ot,it=qi∣λ)a_t(i)=P(o_1,o_2,...,o_t,i_t=q_i|\lambda)at​(i)=P(o1​,o2​,...,ot​,it​=qi​∣λ)
算法
输入:隐马尔可夫模型λ\lambdaλ,观测序列OOO
输出:观测序列的概率P(O∣λ)P(O|\lambda)P(O∣λ)
(1)(1)(1)初值
a1(i)=πibi(o1)a_1(i)=\pi_ib_i(o_1)a1​(i)=πi​bi​(o1​)
(2)(2)(2)递推
at+1(i)=[∑j=1Nat(j)aji]bi(ot+1)a_{t+1}(i)=[\sum\limits_{j=1}^Na_t(j)a_{ji}]b_i(o_{t+1})at+1​(i)=[j=1∑N​at​(j)aji​]bi​(ot+1​)
(3)(3)(3)终止
P(O∣λ)=∑i=1NaT(i)P(O|\lambda)=\sum\limits_{i=1}^Na_T(i)P(O∣λ)=i=1∑N​aT​(i)

后向计算法

定义βt(i)=P(ot+1,ot+2,...,oT∣t=qi,λ)\beta_t(i)=P(o_{t+1},o_{t+2},...,o_T|t=q_i,\lambda)βt​(i)=P(ot+1​,ot+2​,...,oT​∣t=qi​,λ)
算法
输入:隐马尔可夫模型λ\lambdaλ,观测序列OOO
输出:观测序列的概率P(O∣λ)P(O|\lambda)P(O∣λ)
(1)(1)(1)初值
βT(i)=1\beta_T(i)=1βT​(i)=1
(2)(2)(2)递推
βt(i)=∑j=1Naijbj(ot+1)βt+1(j)\beta_t(i)=\sum\limits_{j=1}^Na_{ij}b_j(o_{t+1})\beta_{t+1}(j)βt​(i)=j=1∑N​aij​bj​(ot+1​)βt+1​(j)
(3)(3)(3)终止
P(O∣λ)=∑i=1Nπibi(o1)β1(i)P(O|\lambda)=\sum\limits_{i=1}^N\pi_ib_i(o_1)\beta_1(i)P(O∣λ)=i=1∑N​πi​bi​(o1​)β1​(i)

一些概率与期望值的计算

1.1.1.给定模型λ\lambdaλ和观测OOO,在时刻ttt处于状态qiq_iqi​的概率
γt(i)=P(it=qi∣O,λ)\gamma_t(i)=P(i_t=q_i|O,\lambda)γt​(i)=P(it​=qi​∣O,λ)
=P(it=qi,O∣λ)P(O∣λ)=\frac{P(i_t=q_i,O|\lambda)}{P(O|\lambda)}=P(O∣λ)P(it​=qi​,O∣λ)​
又
at(i)βt(i)=P(it=qi,O∣λ)a_t(i)\beta_t(i)=P(i_t=q_i,O|\lambda)at​(i)βt​(i)=P(it​=qi​,O∣λ)
最终
γt(i)=at(i)βt(i)∑j=1Nat(j)βt(j)\gamma_t(i)=\frac{a_t(i)\beta_t(i)}{\sum\limits_{j=1}^Na_t(j)\beta_t(j)}γt​(i)=j=1∑N​at​(j)βt​(j)at​(i)βt​(i)​
2.2.2.给定模型λ,O\lambda,Oλ,O在时刻ttt在,qiq_iqi​且t+1t+1t+1在qjq_jqj​处的概率
ξt(i,j)=P(it=qi,it+1=qj∣O,λ)\xi_t(i,j)=P(i_t=q_i,i_{t+1}=q_j|O,\lambda)ξt​(i,j)=P(it​=qi​,it+1​=qj​∣O,λ)
=P(it=qi,it+1=qj,O∣λ)P(O∣λ)=P(it=qi,it+1=qj,O∣λ)∑i=1N∑j=1NP(it=qi,it+1=qj,O∣λ)=\frac{P(i_t=q_i,i_{t+1}=q_j,O|\lambda)}{P(O|\lambda)}=\frac{P(i_t=q_i,i_{t+1}=q_j,O|\lambda)}{\sum\limits_{i=1}^N\sum\limits_{j=1}^NP(i_t=q_i,i_{t+1}=q_j,O|\lambda)}=P(O∣λ)P(it​=qi​,it+1​=qj​,O∣λ)​=i=1∑N​j=1∑N​P(it​=qi​,it+1​=qj​,O∣λ)P(it​=qi​,it+1​=qj​,O∣λ)​
=at(i)aijbj(ot+1)βt+1(j)∑i=1N∑j=1NP(it=qi,it+1=qj,O∣λ)=\frac{a_t(i)a_{ij}b_j(o_{t+1})\beta_{t+1}(j)}{\sum\limits_{i=1}^N\sum\limits_{j=1}^NP(i_t=q_i,i_{t+1}=q_j,O|\lambda)}=i=1∑N​j=1∑N​P(it​=qi​,it+1​=qj​,O∣λ)at​(i)aij​bj​(ot+1​)βt+1​(j)​
3.3.3.导出

  • 在观测OOO下状态iii出现的期望
    ∑t=1Tγt(i)\sum\limits_{t=1}^T\gamma_t(i)t=1∑T​γt​(i)
  • 在观测OOO下状态iii转移的期望
    ∑t=1T−1γt(i)\sum\limits_{t=1}^{T-1}\gamma_t(i)t=1∑T−1​γt​(i)
  • 在观测OOO下状态iii转移到jjj的期望
    ∑t=1T−1ξt(i,j)\sum\limits_{t=1}^{T-1}\xi_t(i,j)t=1∑T−1​ξt​(i,j)

学习算法

监督学习方法

假设已经给出{(O1,I1),(O2,I2),...,(OS,IS)}\{(O_1,I_1),(O_2,I_2),...,(O_S,I_S)\}{(O1​,I1​),(O2​,I2​),...,(OS​,IS​)},我们利用极大似然估计来求
1.1.1.转移矩阵aija_{ij}aij​
aij=Aij∑j=1NAija_{ij}=\frac{A_{ij}}{\sum\limits_{j=1}^NA_{ij}}aij​=j=1∑N​Aij​Aij​​
其中AijA_{ij}Aij​为iii到jjj的频数
2.2.2.观测矩阵估计
bj(k)=Bjk∑k=1MBjkb_j(k)=\frac{B_{jk}}{\sum\limits_{k=1}^MB_{jk}}bj​(k)=k=1∑M​Bjk​Bjk​​
3.3.3.初始状态的估计为初始的qiq_iqi​频度

Baum-Welch算法

1.1.1.确定完全数据的对数似然函数
log⁡ P(O,I∣λ)\log \ P(O,I|\lambda)log P(O,I∣λ)
2.2.2.求QQQ函数
Q(λ,λ^)=∑Ilog⁡P(O,I∣λ)P(O,I∣λ^)Q(\lambda,\hat{\lambda})=\sum\limits_I\log P(O,I|\lambda)P(O,I|\hat{\lambda})Q(λ,λ^)=I∑​logP(O,I∣λ)P(O,I∣λ^)
P(O,I∣λ)=πi1bi1(o1)ai1i2bi2(o2)...aiT−1iTbiT(oT)P(O,I|\lambda)=\pi_{i_1}b_{i_1}(o_1)a_{i_1i_2}b_{i_2}(o_2)...a_{i_{T-1}i_T}b_{i_{T}}(o_T)P(O,I∣λ)=πi1​​bi1​​(o1​)ai1​i2​​bi2​​(o2​)...aiT−1​iT​​biT​​(oT​)
Q(λ,λ^)=∑Ilog⁡πi1P(O,I∣λ^)+∑I(∑t=1T−1log⁡aitit+1)P(O,I∣λ^)+∑I(∑t=1Tlog⁡bit(ot)P(O,I∣λ^))Q(\lambda,\hat{\lambda})=\sum\limits_I\log \pi_{i_1} P(O,I|\hat{\lambda})+\sum\limits_I(\sum\limits_{t=1}^{T-1}\log a_{i_ti_{t+1}})P(O,I|\hat{\lambda})+\sum\limits_I(\sum\limits_{t=1}^T\log b_{i_t}(o_t)P(O,I|\hat{\lambda}))Q(λ,λ^)=I∑​logπi1​​P(O,I∣λ^)+I∑​(t=1∑T−1​logait​it+1​​)P(O,I∣λ^)+I∑​(t=1∑T​logbit​​(ot​)P(O,I∣λ^))
3.3.3.最大化
(1)(1)(1)第一项
∑Ilog⁡πi1P(O,I∣λ^)=∑i=1Nlog⁡πiP(O,i1=i∣λ^)\sum\limits_I\log \pi_{i_1}P(O,I|\hat{\lambda})=\sum\limits_{i=1}^N \log \pi_i P(O,i_1=i|\hat{\lambda})I∑​logπi1​​P(O,I∣λ^)=i=1∑N​logπi​P(O,i1​=i∣λ^)
又∑i=1Nπi=1\sum\limits_{i=1}^N\pi_i=1i=1∑N​πi​=1,拉格朗日函数为
∑i=1Nlog⁡πiP(O,i1=i∣λ^)+γ(∑i=1Nπi−1)\sum\limits_{i=1}^N\log \pi_iP(O,i_1=i|\hat{\lambda})+\gamma(\sum\limits_{i=1}^N\pi_i-1)i=1∑N​logπi​P(O,i1​=i∣λ^)+γ(i=1∑N​πi​−1)
对πi\pi_iπi​求导为0得
P(O,i1=i∣λ^)+γπi=0P(O,i_1=i|\hat{\lambda})+\gamma\pi_i=0P(O,i1​=i∣λ^)+γπi​=0
πi=P(O,i1=i∣λ^)P(O∣λ^)\pi_i=\frac{P(O,i_1=i|\hat{\lambda})}{P(O|\hat{\lambda})}πi​=P(O∣λ^)P(O,i1​=i∣λ^)​
(2)(2)(2)第二项
∑I(∑t=1T−1log⁡aitit+1)P(O,I∣λ^)=∑i=1N∑j=1N∑t=1T−1log⁡aijP(O,it=i,it+1=j∣λ^)\sum\limits_I(\sum\limits_{t=1}^{T-1}\log a_{i_ti_{t+1}})P(O,I|\hat{\lambda})=\sum\limits_{i=1}^N\sum\limits_{j=1}^N\sum\limits_{t=1}^{T-1}\log a_{ij}P(O,i_t=i,i_{t+1}=j|\hat{\lambda})I∑​(t=1∑T−1​logait​it+1​​)P(O,I∣λ^)=i=1∑N​j=1∑N​t=1∑T−1​logaij​P(O,it​=i,it+1​=j∣λ^)
约束条件为∑j=1Naij=1\sum\limits_{j=1}^Na_{ij}=1j=1∑N​aij​=1
aij=∑t=1T−1P(O,it=i,it+1=j∣λ^)∑t=1T−1P(O,it=i∣λ^)a_{ij}=\frac{\sum\limits_{t=1}^{T-1}P(O,i_t=i,i_{t+1}=j|\hat{\lambda})}{\sum\limits_{t=1}^{T-1}P(O,i_t=i|\hat{\lambda})}aij​=t=1∑T−1​P(O,it​=i∣λ^)t=1∑T−1​P(O,it​=i,it+1​=j∣λ^)​
(3)(3)(3)第三项
∑I(∑t=1Tlog⁡bit(ot)P(O,I∣λ^))=∑j=1N∑t=1Tlog⁡bj(ot)P(O,it=j∣λ^)\sum\limits_I(\sum\limits_{t=1}^T\log b_{i_t}(o_t)P(O,I|\hat{\lambda}))=\sum\limits_{j=1}^N\sum\limits_{t=1}^T\log b_j(o_t)P(O,i_t=j|\hat{\lambda})I∑​(t=1∑T​logbit​​(ot​)P(O,I∣λ^))=j=1∑N​t=1∑T​logbj​(ot​)P(O,it​=j∣λ^)
同约束条件∑k=1Mbj(k)=1\sum\limits_{k=1}^Mb_j(k)=1k=1∑M​bj​(k)=1
bj(k)=∑t=1TP(O,it=j∣λ^)I(ot=vk)∑t=1TP(O,it=j∣λ)^b_j(k)=\frac{\sum\limits_{t=1}^TP(O,i_t=j|\hat{\lambda})I(o_t=v_k)}{\sum\limits_{t=1}^TP(O,i_t=j|\hat{\lambda)}}bj​(k)=t=1∑T​P(O,it​=j∣λ)^​t=1∑T​P(O,it​=j∣λ^)I(ot​=vk​)​

Baum-Welch模型参数估计公式

aij=∑t=1T−1ξt(i,j)∑t=1T−1γt(i)a_{ij}=\frac{\sum\limits_{t=1}^{T-1}\xi_t(i,j)}{\sum\limits_{t=1}^{T-1}\gamma_t(i)}aij​=t=1∑T−1​γt​(i)t=1∑T−1​ξt​(i,j)​
bj(k)=∑t=1,ot=vkTγt(j)∑t=1Tγt(j)b_j(k)=\frac{\sum\limits_{t=1,o_t=v_k}^{T}\gamma_t(j)}{\sum\limits_{t=1}^{T}\gamma_t(j)}bj​(k)=t=1∑T​γt​(j)t=1,ot​=vk​∑T​γt​(j)​
πi=γ1(i)\pi_i=\gamma_1(i)πi​=γ1​(i)
算法
输入:观测数据O=(o1,o2,..,oT)O=(o_1,o_2,..,o_T)O=(o1​,o2​,..,oT​)
输出:隐马尔可夫模型
(1)(1)(1)对于n=0n=0n=0选取λ(0)=(A(0),B(0),π(0))\lambda^{(0)}=(A^{(0)},B^{(0)},\pi^{(0)})λ(0)=(A(0),B(0),π(0))
(2)(2)(2)递推
aij(n+1)=∑t=1T−1ξt(i,j)∑t=1T−1γt(i)a_{ij}^{(n+1)}=\frac{\sum\limits_{t=1}^{T-1}\xi_t(i,j)}{\sum\limits_{t=1}^{T-1}\gamma_t(i)}aij(n+1)​=t=1∑T−1​γt​(i)t=1∑T−1​ξt​(i,j)​
bj(k)(n+1)=∑t=1,ot=vkTγt(j)∑t=1Tγt(j)b_j(k)^{(n+1)}=\frac{\sum\limits_{t=1,o_t=v_k}^{T}\gamma_t(j)}{\sum\limits_{t=1}^{T}\gamma_t(j)}bj​(k)(n+1)=t=1∑T​γt​(j)t=1,ot​=vk​∑T​γt​(j)​
πi(n+1)=γ1(i)\pi_i^{(n+1)}=\gamma_1(i)πi(n+1)​=γ1​(i)
(3)(3)(3)如果满足条件,终止

预测算法

近似算法

it∗=arg max⁡1≤i≤N[γt(i)]i_t^*=\argmax\limits_{1\le i\le N}[\gamma_t(i)]it∗​=1≤i≤Nargmax​[γt​(i)]
但太简单了

维特比算法

输入:模型λ,O\lambda,Oλ,O
输出:最优路径I∗I^*I∗
(1)(1)(1)初始化
ϱ1(i)=πibi(o1)\varrho_1(i)=\pi_ib_i(o_1)ϱ1​(i)=πi​bi​(o1​)
ψ1(i)=0\psi_1(i)=0ψ1​(i)=0
(2)(2)(2)递推
ϱt(i)=max⁡1≤j≤N[ϱt−1(j)aji]bi(ot)\varrho_t(i)=\max\limits_{1\le j \le N}[\varrho_{t-1}(j)a_{ji}]b_i(o_t)ϱt​(i)=1≤j≤Nmax​[ϱt−1​(j)aji​]bi​(ot​)
ψt(i)=arg max⁡1≤j≤N[ϱt−1(j)aji]\psi_t(i)=\argmax\limits_{1 \le j \le N}[\varrho_{t-1}(j)a_{ji}]ψt​(i)=1≤j≤Nargmax​[ϱt−1​(j)aji​]
(3)(3)(3)终止
P∗=max⁡1≤i≤NϱT(i)P^*=\max\limits_{1 \le i \le N}\varrho_T(i)P∗=1≤i≤Nmax​ϱT​(i)
iT∗=arg max⁡1≤i≤N[ϱT(i)]i_T^*=\argmax\limits_{1 \le i \le N}[\varrho_T(i)]iT∗​=1≤i≤Nargmax​[ϱT​(i)]
(4)(4)(4)回溯最优路径

李航《统计学习方法》第十章——用Python实现隐马尔科夫模型 相关文章: 李航《统计学习方法》第二章——用Python实现感知器模型(MNIST数据集) 李航《统计学习方法》第三章——用Python实现KNN算法(MNIST数据集) 李航《统计学习方法》第四章——用Python实现朴素贝叶斯分类器(MNIST数据集) 李航《统计学习方法》第五章——用Python实现决策树(MNIST数据集) 李航《统计学习方法》第六章——用Py 阅读详情

相关推荐

李航《统计学习方法》第八章——用Python+Cpp实现AdaBoost算法(MNIST数据集)

相关文章: 李航《统计学习方法》第二章——用Python实现感知器模型(MNIST数据集) 李航《统计学习方法》第三章——用Python实现KNN算法(MNIST数据集) 李航《统计学习方法》第四章——用Python实现朴素贝叶斯分类器(MNIST数据集) 李航《统计学习方法》第五章——用Python实现决策树(MNIST数据集) 李航《统计学习方法》第六章——用Py

wds2006sdo的专栏 1万+

《统计学习方法》第10章习题答案

10.2 参考:李航统计学习方法第二版第十章习题解答 α1(1)=π1b1(o1)=0.2×0.5=0.1\alpha_1(1) = \pi_1 b_1(o_1) = 0.2 \times 0.5 = 0.1α1​(1)=π1​b1​(o1​)=0.2×0.5=0.1 α1(2)=π2b2(o1)=0.3×0.4=0.12\alpha_1(2) = \pi_2 b_2(o_1) = 0.3 \times 0.4 = 0.12α1​(2)=π2​b2​(o1​)=0.3×0.4=0.12 α1(3)=π3b3

时间的玫瑰的博客 2360

隐马尔科夫模型

介绍隐马尔科夫模型的定义,三个基本问题的求解算法

隐马尔可夫模型学习笔记(一):前后向算法介绍与推导

学习隐马尔可夫模型(HMM),主要就是学习三个问题:概率计算问题,学习问题和预测问题。概率计算问题主要是讲前向算法和后向算法,这两个算法可以说是隐马尔可夫的重中之重

成都往右的博客 8360

瑞芯微RK3576开发实战:固件烧录与内核启动的典型问题解析

本文详细解析了瑞芯微RK3576开发板在固件烧录与内核启动过程中遇到的典型问题及解决方案。从开发工具版本检查、DDR配置调整到内核启动异常的设备树适配和电源管理问题,提供了系统性的调试方法和实用技巧,帮助开发者高效解决RK3576开发中的常见挑战。

weixin_33700350的博客 456

统计学习方法之隐马尔可夫模型

隐马尔可夫模型 1. 基本概念 1.1 定义 隐马尔可夫模型是关于时序的概率模型,描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列,再由各个状态生成一个观测从而产生观测随机序列的过程。隐马尔科夫链生成的状态序列,称为状态序列;每个状态生成一个观测,而由此产生的观测的随机序列,称为观测序列。序列的每一个位置又可看作为一个时刻。 隐马尔可夫模型的形式定义如下: 设QQQ是所有可能的状态的集合,VVV是所有可能的观测的集合: Q={q1,q2,...,qN},V={v1,v2,...,vM}Q=\{q_1

想当咸鱼的猫 470

SimNow模拟环境实战:用vnpy_ctp连接期货市场的5个关键配置步骤

本文提供了一份详细的量化交易实战指南,重点讲解如何使用vnpy_ctp插件连接SimNow期货模拟环境的5个关键配置步骤。内容涵盖SimNow环境选择、vnpy_ctp核心参数解析、实战连接脚本编写、深度排错技巧以及向实盘迁移的准备,旨在帮助量化交易开发者快速搭建可靠的测试环境,避免常见陷阱。

weixin_29063035的博客 1281

统计学习方法笔记之十----隐马尔科夫模型(一)

## 基本概念 隐马尔可夫模型(hidden Markov model。HMM)是指用于标注问题的统计学习模型,描述由隐藏的马尔可夫链随机生成观测序列的过程,**属于生成模型。** ### 隐马尔可夫模型的定义 **隐马尔可夫模型**   隐马尔可夫模型是关于时序的概率统计模型,描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列,再由各个状态生成一个观测而产生观测随机序列的过程。

秋水顽石 1310

【笔记软件obsidian】从入门到精通

目录 一、前言 二、下载及安装 三、【选修】ios用户如何通过iCloud进行三平台同步 四、基本Markdown语法 五、【选修】插件的下载及安装方式 六、

patrick的博客 9万+

ArcGIS投影变换实战:从WGS_1984到Krasovsky_1940_Albers的精准转换

本文详细解析了在ArcGIS中如何将WGS_1984地理坐标系下的数据精准转换至Krasovsky_1940_Albers投影坐标系。文章通过实战案例,重点阐述了地理坐标系与投影坐标系的区别,并逐步演示了创建自定义地理变换、使用投影栅格工具以及进行批量处理和结果验证的核心操作流程,旨在解决地图数据叠加不准的常见问题。

weixin_29251131的博客 469

统计学习方法读书笔记第十章:隐马尔科夫模型

统计学习方法读书笔记第十章:隐马尔科夫模型统计学习方法读书笔记第十章:隐马尔科夫模型隐马尔科夫模型的基本概念概率计算算法学习算法预测算法 统计学习方法读书笔记第十章:隐马尔科夫模型 隐马尔科夫模型是可用于标注问题的统计学模型,描述由隐藏的马尔科夫链随机生成观测序列的过程,属于生成模型。 隐马尔科夫模型的基本概念 隐马尔科夫模型的定义 隐马尔科夫模型 隐马尔科夫模型是关于时序的概率模型,描述有一...

weixin_40692963的博客 969

医学超声影像研究——从拒稿到录用:我的UMB投稿实战复盘

本文分享了作者将一篇关于超声影像中肿瘤传统分类方法的研究论文,从被其他期刊拒稿到最终被《Ultrasound in Medicine & Biology》录用的完整实战经验。文章详细复盘了心态调整、精准选刊、针对UMB期刊的稿件精修、投稿系统操作细节以及与审稿人有效沟通回复的全过程,为医学影像领域的科研工作者提供了宝贵的投稿策略与实操指南。

stem5的博客 493

统计学习方法——(第十章)隐马尔科夫模型详解

一、知识梳理 参考链接,参考链接 二、隐马尔可夫模型 1、相关概念 概率计算问题: 已知模型的条件下,计算观测序列O的概率。 学习问题:已知观测序列,估计模型参数。即最大化概率计算问题 预测问题:已知模型及观测序列,求对应的状态序列。 后向概率:定义在时刻t部状态为qi的条件下,从t+1到T的部分观测序列为ot+1,ot+2,... ,oT的概率为后向概率 前向概率:定义到时刻t部分观测序列o1,o2,... ,ot且状态为qi的概率为前向概率 2、定义 隐马尔可夫模型是关...

weixin_37799689的博客 1079

AI测试入门:如何测试AI对话模型/智能体?「详细介绍」

作为测试人员,我们需要掌握特定的技能和方法来有效地测试这些复杂的AI对话模型和智能体。传统的软件测试方法在这里可能不再完全适用,我们需要开发新的测试策略和技术来应对AI系统的独特特性。在这篇文章中,我们将深入探讨如何测试AI对话模型和智能体。

blues_C的博客 6865

新能源汽车电池及充电原理详解

本文详细介绍了新能源汽车的电池包结构、铅酸电池充放电原理,以及交流和直流充电的工作原理和优缺点。内容涵盖电池串联并联原因、充电设备如车载充电机、交流充电桩和直流充电桩的介绍,以及不同充电模式的连接方式。通过对充电过程的深入探讨,有助于读者理解新能源汽车的充电技术。

让你爱上电路设计 4528

统计学习方法第十章:隐马尔科夫模型

HMM 是一个教你用“猜天气”的故事,去理解世界如何由隐藏的原因驱动、并以此推理解码万物序列的思维模型——它本身是精巧的火箭模型,而你的任务是带着造火箭时学到的追因思维,去驾驭更强大的飞船。

AggressiveYu的博客 347

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

python做马尔科夫模型预测法_李航《统计学习方法》第十章——用Python实现隐马尔科夫模型...

相关文章:李航《统计学习方法》第二章——用Python实现感知器模型(MNIST数据集)李航《统计学习方法》第三章——用Python实现KNN算法(MNIST数据集)李航《统计学习方法》第四章——用Python实现朴素贝叶斯分类器(MNIST数据集)李航《统计学习方法》第五章——用Python实现决策树(MNIST数据集)李航《统计学习方法》第六章——用Python实现逻辑斯谛回归(MNIST数据...

weixin_36054444的博客 587

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

《统计学习方法》第十章总结

隐马尔可夫模型是用于标注问题的统计学习模型,描述由隐藏的马尔可夫链随机生成观测序列的过程,属于生成模型。 观测序列的生成 隐马尔可夫模型的三个基本问题 对于第一个问题,有三个计算算法:理论上可行计算上不可行的直接计算法,前向算法,后向算法 对于第二个问题,隐马尔可夫模型的学习,根据训练数据是包括观测序列和对应的状态序列还是只有

backer 464

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

统计学习方法 第十章习题答案

10.1 题目: 给定盒子和球组成的隐马尔可夫模型a=(A,B,x),其中,

qq_41562704的博客 6257

从《数学之美》到李航《统计学习方法》的隐马尔科夫模型及python实现课后习题

文章目录一 自然语言处理与隐马尔科夫模型(HMM)二 隐马尔科夫模型(HMM)基本概念三 HMM概率计算方法(前向算法与后向算法简化)四 HMM的学习算法(模型训练求解模型参数)五 HMM预测算法(维特比算法)   主要对《数学之美》隐马尔科夫模型,维特比和他的维特比算法、《统计学习方法》第十章、徐亦达HMM概率模型的内容进行总结消化。   隐马尔科夫模型(HMM)最初应用于通信领域,继而推广到语...

李滚滚的博客 2561

《统计学习方法》第10章 隐马尔科夫模型 HMM算法 纯Python代码实现 + 前后向算法矩阵形式 + 课后习题答案

《统计学习方法》第10章 隐马尔科夫模型,HMM算法矩阵写法,非常简洁,定义HiddenMarkov类... 习题演练...

捡起一束光的博客 983

【李航统计学习笔记】第十章:隐马尔科夫模型

蓝色圆圈代表状态变量,绿色圆圈代表观测变量。模型参数及符号:状态集合: Q={q1,…qN}Q=\left\{q_{1, \ldots} q_{N}\right\}Q={q1,…​qN​}预测集合: V={v1,…vM}V=\left\{v_{1, \ldots} v_{M}\right\}V={v1,…​vM​}状态序列: I={i1,…iT}it⊂QI=\left\{i_{1, \ldots} i_{T}\right\} \quad i_{\mathrm{t}} \subset QI={i1,…​iT​

weixin_39236489的博客 353

李航老师《统计学习方法》第二版第十章课后题答案

10.1 解: 话不多说,上代码,自己写的哦,通用版,看到网上有多个不同版本的答案,还都是手算的,也是很佩服这些大佬的耐心,那么多的小数,还一点点的算。第一个函数Bw_Recurrent(A,B,start_p,list_observation)为后向算法,名字里面的Bw表示BackWards # -*- coding: utf-8 -*- """ Created on Sun Oct 11 13:38:34 2020 @author: DELL """ import numpy as np def

qq_41626059的博客 4559

统计学习方法——实践

看书结合python实现的博客学习: 李航《统计学习方法》第二章——用Python实现感知器模型(MNIST数据集) 李航《统计学习方法》第三章——用Python实现KNN算法(MNIST数据集) 李航《统计学习方法》第四章——用Python实现朴素贝叶斯分类器(MNIST数据集) 李航《统计学习方法》第五章——用Python实现决策树(MNIST数据集) ...

qq_26915707的博客 333

隐马尔科夫模型(HMM)浅见

隐马尔科夫模型,Hidden Marcov Model,是可用于标注问题的统计学习模型,描述由隐藏的马尔科夫链随机生成观测序列的过程,属于生成模型,是一种比较重要的机器学习方法,在语音识别等领域有重要的应用。   本文不打算使用书面的一大堆公式来说明,本人对公式无感,能用例子说明的根本不想碰公式,不知道是不是霍金说过,多加一条公式就会损失一大片读者。PS:不管有没有说过了,是这个意思,what

luchi007的专栏 1514
上一篇: 《统计学习方法》(第九章)—— EM算法及推广
下一篇: 《统计学习方法》(第十二章)——监督学习方法总结
mkopvec
博客等级 码龄8年 22粉丝 331原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值