朴素贝叶斯（Naive Bayes）算法 - 文档分类（敏感词判断）

最新推荐文章于 2025-04-10 08:00:00 发布
最新推荐文章于 2025-04-10 08:00:00 发布
阅读量1.1k 收藏 1
点赞数 1
分类专栏： 机器学习 文章标签： 机器学习 朴素贝叶斯 文档分类 敏感词
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Yuudachi/article/details/102798302
版权 
import numpy as np
import pandas as pd
from functools import reduce

'''
	函数功能：创建实验数据集
	参数说明：无参数
	返回：
		postingList：切分好的样本词条
		classVec：类标签向量
'''
def loadDataSet():

	dataSet = [
		['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
		['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
		['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
		['stop', 'posting', 'stupid', 'worthless', 'garbage'],
		['mr', 'licks', 'ate', 'my', 'steak', 'how'
最低0.47元/天 解锁文章
机器学习笔记 - 学习朴素贝叶斯概念及应用
学以致用 知行合一
12-19 1025
贝叶斯分类算法是一大类分类算法的总称；贝叶斯分类算法以样本可能属于某类的概率来作为分类依据；朴素贝叶斯分类算法是贝叶斯分类算法中最简单的一种。 朴素的意思是条件概率独立性。朴素贝叶斯方法是一组监督学习算法，基于贝叶斯定理，并在给定类变量值的情况下，每对特征之间的条件独立性的“朴素”假设。尽管它们的假设显然过分简化，但朴素的贝叶斯分类器在许多实际情况下（在著名的文档分类和垃圾邮件过滤中）都表现良好。他们需要少量的训练数据来估计必要的参数。另一方面也是由于过于...
朴素贝叶斯之自然语言语义分析（三）：评论情感分类 - 差评、中评、好评
IT_但丁的博客
02-24 4663
一、需求说明 （1）应用背景 我们在做用户画像的时候，需要获得用户对某商品、品牌的评价记录这样的事实标签。这个值获取很麻烦，不好根据一句标语得出一个分值。 我们可以为评价的偏好得分，定义一个规则： 好评 --> 得 5分 中评 --> 得 0分 差评 --> 得 - 5分 （2）带来的问题 业务系统中有大量的用户商品评价，存在于商品评论表中： sku_id us...
利用朴素贝叶斯算法实现新闻敏感词的屏蔽功能
博客——XiaoTang
06-09 2095
利用朴素贝叶斯算法实现新闻敏感词的屏蔽功能 敏感词检测步骤： 1.分词：对获取的评论进行分词处理，采用的是jieba分词 2.去除无意义词：采用的是哈工大的词表，遍历每一条评论，判断是否在无用词表（这里主要包含特殊字符，标点符号，感叹词等）中，从而达到去除无意词的效果 3.通过评论建立自己的词库，采用并集处理，达到词库中词的唯一性 4.建立向量：将去除无意词后的评论装换成稀疏矩阵，采用的是多项式模...
基于朴素贝叶斯模型的中文关键词提取算法
04-05
该算法首先通过训练过程获取朴素贝叶斯模型中的各个参数，然后以此为基础，在测试过程中完成关键词提取。相较于传统的tf*idf算法，该算法能准确提取出文档中的关键词，具有良好的扩展性。
机器学习算法实战——敏感词检测（主页有源码）
m0_65481401的博客
03-16 994
在众多深度学习算法中，BERT（Bidirectional Encoder Representations from Transformers）因其强大的语义理解能力而成为敏感词检测任务的首选模型。BERT通过双向Transformer编码器捕捉文本的上下文信息，能够更准确地识别敏感词及其变体。中文敏感词数据集：包含常见的中文敏感词及其变体，适用于中文敏感词检测任务。：包含多种语言的仇恨言论数据，适用于仇恨言论检测任务。自定义数据集：在实际应用中，研究者通常会根据具体任务需求，构建自定义的敏感词检测数据集。
机器学习-朴素贝叶斯（侮辱类词汇检测）
Vivinia的博客
07-17 1153
根据公式： 可以得出： 这里进行计算时，只需要计算分子，比较大小，因为分母只是对数值有影响，对两个数的比较不会产生影响 import numpy as np """创建数据集""" def loadDataSet(): postingList = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], ...
机器学习实战_04-贝叶斯
Acquire
07-18 489
优点：在数据较少的情况下仍然有效，可以处理多类别问题 缺点：对于输入数据的准备方式较为敏感 适用数据类型：标称型数据贝叶斯决策理论： 创建样本集合 def loadDataSet(): postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], ['maybe', '
过滤敏感词写法
weixin_33991418的博客
08-16 208
$badword = array( '张三','张三丰','张三丰田');$badword1 =array_combine($badword,array_fill(0,count($badword),'*'));var_dump($badword1);$bb = '我今天开着上班';$str = strtr($bb,$badword1);echo $str;...
Python3机器学习-利用朴素贝叶斯自动识别侮辱性文字（numpy）
念着倒障智
01-18 1429
训练集 TrainingSet.py # 词条切分后的文档集合 postingList = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'], ...
【python 走进NLP】两种高效过滤敏感词算法--DFA算法和AC自动机算法
热门推荐
赖德发的博客
10-19 1万+
1、DFA过滤敏感词算法 在实现文字过滤的算法中，DFA是比较好的实现算法。DFA即Deterministic Finite Automaton，也就是确定有穷自动机。 算法核心是建立了以敏感词为基础的许多敏感词树。 python 实现DFA算法： # -*- coding:utf-8 -*- import time time1=time.time() # DFA算法 class DFAFi...
NLPIR大数据挖掘平台新增敏感词扫描功能
weixin_33806300的博客
02-08 345
　　在网络日益发达的现在，也伴随着有益信息与造成不稳定因素的信息也随之日益泛滥，为了网民的思想健康，也为了社会的和谐，在许多对外公共场合下，有些内容是要经过审查才能显示的。在网络审查初期，都是通过人工审核，这种审核方式虽然准确且智能，但与网络文字产生的速度相比，其效率就显示微不足道了!因此，自动化的系统处理方式的需求越来越强烈…… 　　而NLPIR大数据挖掘平台是一套专门针对原始文本集进行处理和...
朴素贝叶斯判断垃圾邮件（带源码、注释、训练集和测试集）.rar
05-09
朴素贝叶斯判断垃圾邮件（带源码、注释、训练集和测试集），课程学习内容，可以直接运行（需要安装numpy库）
机器学习算法系列之朴素贝叶斯
qq_41999763的博客
06-02 410
本系列机器学习的文章打算从机器学习算法的一些理论知识、python实现该算法和调一些该算法的相应包来实现。 一、朴素贝叶斯法的学习与分类 1、朴素贝叶斯基本方法 先补充一些基本概念，如下： 条件概率(又称作后验概率)：就是事件A在另外一个事件B已经发生条件下发生的概率。表示味：P(A|B)，读作“在B条件下A发生的概率” 联合概率：表示两个事件共同发生的概率。A与B的联合概率表示为：P(A∩B)或P（A，B） 边缘概率（又称先验概率）：是指某个事件发生的概率。边缘概率是这样得到的：在联合概率中
NLP之文本分类(三)---TextCNN
zhouwenyuan1015的博客
05-07 444
0. 背景： TextCNN对文本浅层特征的抽取能力很强，在短文本领域如搜索、对话领域专注于意图分类时效果很好，应用广泛，且速度快，一般是首选；对长文本领域，TextCNN主要靠filter窗口抽取特征，在长距离建模方面能力受限，且对语序不敏感 paper：Convolutional Neural Networks for Sentence Classification paper： A Sensitivity Analysis of (and Practitioners’ Guide to) Conv
开源的敏感词检测工具
qq_46863837的博客
04-26 1287
首先开源不是一件可耻，同时也不是一件让人觉得自己牛逼上天的一件事，开源出项目只是想更多的人能够少走弯路。对于使用者来说能够避免重复造轮子，对于开源者来说能够增加经验，使用者越多，可能发现的bug就越多，提出新的需求也可能会更多，所以对于开源者不仅是考验，也是能力提升的契机。
机器学习算法实战——基于朴素贝叶斯算法的敏感词识别系统的设计与实现
最新发布
m0_65481401的博客
04-10 1125
敏感词识别是自然语言处理(NLP)中的一个重要应用领域，其主要目标是从文本内容中自动检测和过滤不适当、违规或有害的词汇和表达。随着互联网内容的爆炸式增长和社交媒体平台的普及，敏感词识别技术已成为内容审核、网络安全管理、社交媒体监控等领域不可或缺的工具。政治敏感内容：涉及国家主权、领导人、政治事件等暴力恐怖内容：包含暴力、恐怖主义、极端主义等色情低俗内容：色情、淫秽、低俗信息侮辱诽谤内容：人身攻击、侮辱、诽谤等商业违规内容：欺诈、虚假广告、非法营销等隐私信息：个人身份证号、电话号码、银行账户等。
DFA敏感词过滤算法详解
java_eiji的博客
10-16 2474
DFA敏感词过滤算法详解
基于大模型进行数据分类分级实操指南
2401_84204207的博客
01-28 982
为了更好地阐述具体的落地实践，我们可以把整个过程分解成以下几个主要阶段：1、准备工作：收集和整理字段信息从元数据（比如Hive ）中导出所有表的字段信息，包括字段名、字段类型、字段注释、所属表名、所属数据库名等。若可能，尽量补充字段的业务含义说明、字段的上下文信息等。2、建立分类规则和提示模板根据企业（或组织）既定的敏感等级划分标准，编写一份说明文档，把每个等级的定义和判定标准描述清晰。设计对大模型的提示（prompt），以让模型理解如何根据字段信息判断其敏感等级。
使用机器学习python对敏感词的识别，写出代码
11-24
使用Python和机器学习技术来识别敏感词，通常可以采用文本分类算法，比如朴素贝叶斯、支持向量机(SVM)或者深度学习模型如LSTM。以下是一个简单的示例，展示如何使用朴素贝叶斯进行敏感词检测： 首先，假设我们有一个包含敏感词的训练数据集，每个样本是一段文本，标签是"敏感"或"非敏感"。 ```python import pandas as pd from sklearn.feature_extraction.text import CountVectorizer from sklearn.model_selection import train_test_split from sklearn.naive_bayes import MultinomialNB # 加载数据 data = pd.read_csv('sensitive_words_data.csv', sep='\t') # 假设数据文件格式为tab分隔 texts = data['text'] labels = data['label'] # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(texts, labels, test_size=0.2, random_state=42) # 文本特征提取（这里使用词频） vectorizer = CountVectorizer() X_train_vec = vectorizer.fit_transform(X_train) X_test_vec = vectorizer.transform(X_test) # 训练朴素贝叶斯模型 model = MultinomialNB() model.fit(X_train_vec, y_train) # 对新文本进行预测 def predict_sensitive(text): new_text_vec = vectorizer.transform([text]) prediction = model.predict(new_text_vec) return '敏感' if prediction[0] else '非敏感' # 示例使用 test_text = "这是一个敏感词汇" prediction = predict_sensitive(test_text) print(f"文本'{test_text}'的预测结果是: {prediction}") ``` 注意，这只是一个基础示例，实际应用中可能需要对文本进行预处理（去除停用词、标点等），调整模型参数，并评估性能。此外，对于敏感词识别，还需要权衡准确性和隐私保护，避免泄露个人隐私信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值