- 博客(2)
- 收藏
- 关注
RSS订阅原创 NLP--文本清洗--停用词处理
NLP–文本清洗–停用词处理前言近期在处理文本的时候关于停用词的处理有几个想法。导入停用词表这里可以自行上网找相对应的stopwords导入。这里默认的停用词大多是虚词和无意义的语气词、习惯用词。自定义停用词表自定义停用词的情况要示研究目标决定。如果有些词在研究的文档所有文本出现的频率都很高且没有什么意义的话，这类词是可以去除的，如"的", “吗”，更有甚者，在研究政治类文本中出现“文案”、“法案”等几乎所有文本都有的关键词也是可以去除的。设置自定义停用词可能还跟使用的模型有关。不同的模型可能
2022-04-22 13:45:15
4625
原创 python爬虫--Scrapy框架--Scrapy+selenium实现动态爬取
python爬虫–Scrapy框架前言框架结构start -> 爬虫提交链接request给middlewares -> middlewares发送request给网页 -> middlewares发送response给爬虫 ->爬虫解析response返回的对象 -> pipeline存储数据创建爬虫cd <项目文件夹>scrapy startproject SpiderProjectName... ...cd SpiderProjectName
2022-04-13 01:08:57
3964
2
空空如也
虚拟机连接xshell、navicat时自动断网问题
2023-01-08
TA创建的收藏夹 TA关注的收藏夹
TA关注的人