
自然语言处理
nlp
何小义的AI进阶路
记录各种技术坑,记录学习笔记,gogogo
展开
-
Datawhale - 入门NLP之新闻文本分类 - task4 DL之FastText实现
PS. 因工作繁忙,没时间详细更新博客,先发一段实现代码,后续更新详细实现原理!!!基于fasttext的新闻文本分类实践(python):import pandas as pdfrom sklearn.metrics import f1_score# 转换为FastText需要的格式train_df = pd.read_csv('../data/train_set.csv', sep='\t', nrows=15000)train_df['label_ft'] = '__label__原创 2020-07-28 09:44:50 · 182 阅读 · 0 评论 -
Datawhale - 入门NLP之新闻文本分类 - task3 ML实现
目录1. 文本分类之ML方法简介2. one-hot3.Count Vectors4.N-gram5.TF-IDF6.Count Vectors + RidgeClassifier7.TF-IDF + RidgeClassifier8.TF-IDF + 其他ml算法1. 文本分类之ML方法简介(1)机器学习简介 直观定义 ---> 权威定义 ---> 机器学习(Machine Learning, ...原创 2020-07-25 16:00:18 · 449 阅读 · 0 评论 -
Datawhale - 入门NLP之新闻文本分类 - task2 数据分析
前面已经学习记录了: Datawhale - 入门NLP之新闻文本分类 - task1 赛题理解今天继续学习记录:task2 数据分析,主要是对巡检集的数据进行分析,统计,了解数据整体的分布情况!1 竞赛数据来源 竞赛数据来源,进入天池实验室 -- “零基础入门NLP - 新闻文本分类”: https://tianchi.aliyun.com/competition/entrance/531810/information,然后点击报名参赛,再点击“赛题与数据”...原创 2020-07-21 23:21:05 · 419 阅读 · 0 评论 -
Datawhale - 入门NLP之新闻文本分类 - task1 赛题理解
学习背景本次学习背景是,在datawhale组织中报名学习:入门NLP(以新闻文本分类赛事进行学习)。学习过程中,逐渐记录心得和学习的收获!!!1.赛题理解赛题名称:零基础入门NLP之新闻文本分类。 赛题目标:通过这道赛题走入自然语言处理的世界,接触NLP的预处理、模型构建和模型训练等知识点。 赛题任务:赛题以自然语言处理为背景,要求选手对新闻文本进行分类,这是一个典型的字符识别问题。2.学习目标理解赛题背景与赛题数据 完成赛题报名和数据下载,理解赛题的解题思路3.赛题数据转载 2020-07-19 21:33:51 · 430 阅读 · 2 评论