- 博客(12)
- 资源 (14)
- 问答 (1)
- 收藏
- 关注
原创 NLP自然语言处理入门学习笔记(四)CRF条件随机场+代码实例解析
本文系统介绍了条件随机场(CRF)及其在命名实体识别中的应用。首先从定义出发,阐述了随机场、马尔可夫性等基础概念,并详细推导了CRF的参数公式,包括转移特征、状态特征及发射分数计算。其次,重点分析了BiLSTM+CRF模型架构,说明了BiLSTM生成发射分数、CRF解码最优路径的协同工作机制。最后,通过Python代码实例展示了模型的实现细节,包括前向算法、维特比解码等核心算法。文章将理论推导与代码实践相结合,全面解析了CRF在序列标注任务中的应用原理和实现方法。
2025-08-20 17:25:58
1350
原创 NLP自然语言处理入门学习笔记(三)HMM隐马尔夫模型
给定模型λ=(Π,A,B)和观测序列O的情况下,求在模型λ=(Π,A,B)下观测序列O出现的概率P(O|λ)。举一个例子观测序列O已知的情况下,求解模型λ=(Π,A,B)参数,使得在该模型下观测序列概率P(O|λ)最大。解决方法:(极大似然估计算法、最大期望算法此处请学习EM算法。
2025-08-20 10:03:03
809
原创 NLP自然语言处理入门学习笔记(二)RNN+LSTM+GRU
循环神经网络(RNN)作为一款经典的序列处理模型,广泛应用于自然语言处理和时序信号建模等领域。其核心特点在于,尽管物理上仅包含一个RNN单元,该单元却能在时间维度上逐步展开。在每个时间步骤中,RNN单元接收当前时间步的输入及上一时间步的输出,通过内部计算,最终得到本时间步的输出结果。这种机制使得RNN能够有效捕捉和处理序列数据中的时间依赖关系。
2025-08-19 17:22:55
674
原创 NLP自然语言处理入门学习笔记(一)文本预处理
文本预处理包括以下关键步骤:语料库收集、文本清洗、分词、停用词去除(可选)、标准化和特征提取等。
2025-08-15 15:31:00
1111
转载 生成模型和判别模型
可以用概率密度函数来表示。生成模型估计的是联合概率分布(joint probability distribution),p(y, x)=p(y|x)*p(x),由数据学习联合概率密度分布P(X,Y),然后求出条件概率分布P(Y|X)作为预测的模型,即生成模型:P(Y|X)= P(X,Y)/ P(X)。联合分布是能提供更多的信息,但也需要更多的样本和更多计算,尤其是为了更准确估计类别条件分布,需要增加样本的数目,而且类别条件概率的许多信息是我们做分类用不到,因而如果我们只需要做分类任务,就浪费了计算资源。
2024-10-02 13:17:07
233
1
转载 准确率、召回率、F1值的区别
比如极端情况下,我们只搜索出了一个结果,且是准确的,那么Precision就是100%,但是Recall就很低;如果是做实验研究,可以绘制。为了能够评价不同算法的优劣,在Precision和Recall的基础上提出了F1值的概念,来对Precision和Recall进行整体评价。其中精度是检索出相关文档数与检索出的文档总数的比率,衡量的是检索系统的。召回率是指检索出的相关文档数和文档库中所有的相关文档数的比率,衡量的是检索系统的。Precision = 提取出的正确信息条数 / 提取出的信息条数。
2024-10-02 12:58:44
1242
转载 逻辑回归LR和线性回归的区别
模型评价指标不同:由于逻辑回归的目标变量是分类变量,因此需要使用不同的评价指标来评估模型的性能,如准确率、精确率、召回率、F1 值等;而线性回归的目标变量是连续的数值型变量,因此可以使用诸如均方误差(MSE)、均方根误差(RMSE)、平均绝对误差(MAE)等指标来评估模型的性能。当然,这并不是绝对的,逻辑回归也可以用于连续值预测,线性回归也可以用于分类任务。而线性回归的输出是连续的数值,其取值范围可以是负无穷到正无穷。总的来说,逻辑回归和线性回归是两个不同的模型,适用于不同类型的问题。
2024-10-02 12:40:58
134
原创 conda环境如何把一台服务器虚拟环境迁移到另一台服务器
注意:需要两台服务器的操作系统版本一致,并且最好conda软件的版本也一直,不然会出现一些链接库的错误问题。可能会遇到的错误如下:解决方法-添加如下到~/.bash_profile中(换成自己的anaconda3/lib路径)source ~/.bash_profile 使其生效。
2023-09-13 16:23:54
772
1
原创 tar命令压缩解压缩到指定路径
这五个是独立的命令,压缩解压都要用到其中一个,可以和别的命令连用但只能用其中一个。下面的参数是根据需要在压缩或解压档案时可选的。-f: 使用档案名字,切记,这个参数是最后一个参数,后面只能接档案名。-r:向压缩归档文件末尾追加文件。-Z:有compress属性的。-O:将文件解开到标准输出。-u:更新原压缩包中的文件。-z:有gzip属性的。-c: 建立压缩档案。-j:有bz2属性的。
2023-09-13 16:05:23
10046
1
原创 linux(centos7)离线安装miniconda、pytorch,torchvision
前缀是cpu的代表cpu版本,前缀cu代表cuda,后面数字是cuda的版本,如下图所示。在conda创建的虚拟环境下,使用命令conda list 可以查看对应的包是否安装好。在python环境中使用如下命令安装。下载下来之后,上传到目标服务器上,miniconda离线安装参考。
2023-09-08 19:28:38
991
1
原创 双向循环链表C++实现
#ifndef YITERATOR_H_#define YITERATOR_H_template<class T>//在外部自定义一个迭代器类class yiterator{public: virtual void outputd(){ };};#endif /* YITERATOR_H_ */#ifndef DCIRCULA...
2019-06-28 12:52:40
425
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅