
datawhale
文章平均质量分 97
何小义的AI进阶路
记录各种技术坑,记录学习笔记,gogogo
展开
-
Datawhale - 入门NLP之新闻文本分类 - task4 DL之FastText实现
PS. 因工作繁忙,没时间详细更新博客,先发一段实现代码,后续更新详细实现原理!!!基于fasttext的新闻文本分类实践(python):import pandas as pdfrom sklearn.metrics import f1_score# 转换为FastText需要的格式train_df = pd.read_csv('../data/train_set.csv', sep='\t', nrows=15000)train_df['label_ft'] = '__label__原创 2020-07-28 09:44:50 · 182 阅读 · 0 评论 -
Datawhale - 入门NLP之新闻文本分类 - task3 ML实现
目录1. 文本分类之ML方法简介2. one-hot3.Count Vectors4.N-gram5.TF-IDF6.Count Vectors + RidgeClassifier7.TF-IDF + RidgeClassifier8.TF-IDF + 其他ml算法1. 文本分类之ML方法简介(1)机器学习简介 直观定义 ---> 权威定义 ---> 机器学习(Machine Learning, ...原创 2020-07-25 16:00:18 · 449 阅读 · 0 评论 -
Datawhale - 入门NLP之新闻文本分类 - task2 数据分析
前面已经学习记录了: Datawhale - 入门NLP之新闻文本分类 - task1 赛题理解今天继续学习记录:task2 数据分析,主要是对巡检集的数据进行分析,统计,了解数据整体的分布情况!1 竞赛数据来源 竞赛数据来源,进入天池实验室 -- “零基础入门NLP - 新闻文本分类”: https://tianchi.aliyun.com/competition/entrance/531810/information,然后点击报名参赛,再点击“赛题与数据”...原创 2020-07-21 23:21:05 · 419 阅读 · 0 评论 -
Datawhale - 入门NLP之新闻文本分类 - task1 赛题理解
学习背景本次学习背景是,在datawhale组织中报名学习:入门NLP(以新闻文本分类赛事进行学习)。学习过程中,逐渐记录心得和学习的收获!!!1.赛题理解赛题名称:零基础入门NLP之新闻文本分类。 赛题目标:通过这道赛题走入自然语言处理的世界,接触NLP的预处理、模型构建和模型训练等知识点。 赛题任务:赛题以自然语言处理为背景,要求选手对新闻文本进行分类,这是一个典型的字符识别问题。2.学习目标理解赛题背景与赛题数据 完成赛题报名和数据下载,理解赛题的解题思路3.赛题数据转载 2020-07-19 21:33:51 · 430 阅读 · 2 评论 -
Datawhale -- opencv学习 -- Hog特征+SVM分类(行人检测)
目录1 总体思想2Gamma变换(图像预处理)3 HOG特征详细解释4 SVM原理简介5 opencv+python代码实现1 总体思想 众所周知,机器学习一般分为算法训练过程,和预测过程,下面就简单描述总体训练和预测思想:1.1 模型训练过程(1)准备一堆训练集,训练集是 “有行人” 和 “没有行人” 的正负样本图(我们设定统一64x128大小),分别若干张。 如图所示,比如: 这是“行人”的正样本图像块 这是“没有行...原创 2020-07-05 23:27:31 · 5497 阅读 · 0 评论 -
Datawhale -- opencv学习 -- Haar分类器(人脸检测)
PS. 由于本人工作上事情较多,有关于Haar分类器用于人脸检测的学习,已经初步学习并了解原理与过程。 但是暂时没有时间来整理所有知识点的博客。 下面将着重介绍一下几个步骤,然后推荐一些博客。 并附上用haar+级联分类器的方法,opencv+python的实现,用于人脸检测。 后期有空了再补上详细原理步骤!!!!!!一、haar分类器用于人脸检测的几个关键点:1. Haar-like 特征2. Haar-like特征的计算—积分...原创 2020-07-01 23:24:48 · 5716 阅读 · 1 评论 -
Datawhale -- opencv学习 -- LBP特征(人脸检测)
1 LBP简介 LBP指局部二值模式(Local Binary Pattern),是一种用来描述图像局部特征的算子,具有灰度不变性和旋转不变性等显著优点,LBP常应用于人脸识别和目标检测中。 补充知识:1. 灰度不变性:所谓的灰度不变性,指的是光照变化是否会对描述产生影响以上面的8邻域为例, 光照变化是很难改变灰度值83与其周围8个像素的大小关系的。因为光照是一种区域性质的变化, 而不是单像素性质的变化。所以比如...原创 2020-06-27 17:26:27 · 922 阅读 · 0 评论 -
Datawhale -- opencv学习 -- Harris特征点检测
1. 简介角点:个人理解就是图像中,带角的那些点(也不一定是尖锐的,导数为0的极值点也行)。它通常具有旋转不变性和光照不变性和视角不变性等优点,是图像的重要特征之一。他具有如下特点:2. 算法整体思想:算法的核心是利用局部窗口在图像上进行移动,判断灰度是否发生较大的变化。如果窗口内的灰度值(在梯度图上)都有较大的变化,那么这个窗口所在区域就存在角点。这样就可以将 Harris 角点检测算法分为以下三步:当窗口(局部区域)同时向 x (水平)和 y(垂直) 两个方向移动时,计算窗口内部原创 2020-06-23 23:08:15 · 270 阅读 · 0 评论