NLP和感知机

本文介绍了感知机的基本原理,它作为一个线性分类器,与神经网络中的神经元相似但无需激活函数。感知机的损失函数关注误分类样本,通过梯度下降找到最优解。在分词任务中,感知机可以替代HMM模型,结合维特比算法实现精确分词。特征提取参照HMM的状态和转移特征,如BEGIN、END等标记。

最近在看Hanlp作者的一本书,讲到了感知机,这里简单说下。

感知机本质就是一个线性函数,很像一个神经网络里的一个神经元。不同点是神经元有一个激活函数,而感知机就是通过结果的正负来做二分类。

感知机的损失函数,或者说惩罚函数,就是对于误分类的样本,希望他们的感知结果的绝对值总和越小越好。

选择这个惩罚函数的原因是”它是可导的”,可以梯度下降到的一个极小值。

 

完成感知机的训练后,用感知机的感知结果和,用它代替HMM模型中的概率距离和,还是用维特比算法求最小路径,就能得到正确的分词结果。

 

感知机的特征怎么提取?

根据隐马尔可夫模型(HMM),特征分成状态特征和转移特征。

B=begin 词首

E=end 词尾

M=middle 词中

S=singel 单字成词

 

参考:https://blog.youkuaiyun.com/m0_37490039/article/details/79660929

 

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

爱知菜

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值