<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Dulpee的博客]]></title><description><![CDATA[程序员]]></description><link>https://blog.youkuaiyun.com/Dulpee</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Dulpee]]></copyright><item><title><![CDATA[天池竞赛-资金流入流出预测总结]]></title><link>https://blog.youkuaiyun.com/Dulpee/article/details/108118276</link><guid>https://blog.youkuaiyun.com/Dulpee/article/details/108118276</guid><author>Dulpee</author><pubDate>Thu, 20 Aug 2020 22:50:25 +0800</pubDate><description><![CDATA[天池竞赛-资金流入流出预测总结
1.竞赛背景
2.竞赛思路
对数据集进行分析
3.传统方法
使用xgboost进行预测
4.深度学习方法
面对时序问题使用LSTM一般都具有较好的效果，LSTM的优势在于1.有效的解决的梯度消失的问题2.，
下面对数据集进行预处理将(条件进行处理),对网络当中的…参数进行设置，
构建模型，开始训练。
结果判断

...]]></description><category></category></item><item><title><![CDATA[文本分类—机器学习方法]]></title><link>https://blog.youkuaiyun.com/Dulpee/article/details/88372816</link><guid>https://blog.youkuaiyun.com/Dulpee/article/details/88372816</guid><author>Dulpee</author><pubDate>Sat, 09 Mar 2019 22:52:07 +0800</pubDate><description><![CDATA[##不好意思最近事情有点多下次在完善一下
导入常用包
import random
import jieba
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import CountVectorizer
from sklearn....]]></description><category></category></item><item><title><![CDATA[task3_TF-IDF_互信息]]></title><link>https://blog.youkuaiyun.com/Dulpee/article/details/88319278</link><guid>https://blog.youkuaiyun.com/Dulpee/article/details/88319278</guid><author>Dulpee</author><pubDate>Thu, 07 Mar 2019 20:11:06 +0800</pubDate><description><![CDATA[基于 TF-IDF 算法的关键词抽取
1.什么是TF-IDF呢?
TF(Term Frequency)词频
IDF(Inverse Document Frequency)逆文档频率,表示一个词的大小与常见词的反比
假如我们需要通过计算机来找到文本的关键词如何查找呢，一般是统计出现最高词语的频率也就是TF词频。但是在统计词语的过程中通常会遇到如下问题—最高出现的词汇可能是”停用词”，如”的”，”是”...]]></description><category></category></item><item><title><![CDATA[文本特征提取]]></title><link>https://blog.youkuaiyun.com/Dulpee/article/details/88202473</link><guid>https://blog.youkuaiyun.com/Dulpee/article/details/88202473</guid><author>Dulpee</author><pubDate>Tue, 05 Mar 2019 20:36:57 +0800</pubDate><description><![CDATA[在自然语言处理中我们把文本数据变成向量数据，在向量数据中我们可以得到很多来自于文本数据当中的语言特性，这种方式叫做文本表示或文本特征构造。
文本特征的通用信息源
文本分类问题当中的对象

词:在英文文本处理当中面对的是单个词组用空格隔开容易区分，在中文文本当中需要通过特定的词库如python中的jieba、中科院、清华、哈工大的一些分词工具来进行分词处理。在处理词类时一般关注词性、词与上下文之间是...]]></description><category></category></item><item><title><![CDATA[ROC、PR曲线、AUC值]]></title><link>https://blog.youkuaiyun.com/Dulpee/article/details/88093390</link><guid>https://blog.youkuaiyun.com/Dulpee/article/details/88093390</guid><author>Dulpee</author><pubDate>Sun, 03 Mar 2019 20:37:06 +0800</pubDate><description><![CDATA[ROC曲线
ROC曲线就是由一系列的阈值threshold下的（伪阳性，真阳性）决定的一个个坐标点连接而成的，一般用于二分类模型比较
横轴FPR:1-TNR,1-Specificity，FPR越大，预测正类中实际负类越多。
纵轴TPR：Sensitivity(正类覆盖率),TPR越大，预测正类中实际正类越多。
图中实线为ROC曲线，线上每个点对应一个阈值。

AUC:ROC曲线下面的面积，介于0....]]></description><category></category></item><item><title><![CDATA[精确率、召回率、准确率]]></title><link>https://blog.youkuaiyun.com/Dulpee/article/details/88092937</link><guid>https://blog.youkuaiyun.com/Dulpee/article/details/88092937</guid><author>Dulpee</author><pubDate>Sun, 03 Mar 2019 20:09:41 +0800</pubDate><description><![CDATA[精确率是针对我们预测结果而言的，它表示的是预测为正的样本中有多少是真正的正样本。那么预测为正就有两种可能了，一种就是把正类预测为正类(TP)，另一种就是把负类预测为正类(FP)，也就是

召回率是针对我们原来的样本而言的，它表示的是样本中的正例有多少被预测正确了。那也有两种可能，一种是把原来的正类预测成正类(TP)，另一种就是把原来的正类预测为负类(FN)。

其实就是分母不同，一个分母是预测为正...]]></description><category></category></item><item><title><![CDATA[基于LSTM对IMDB数据集进行情感分析]]></title><link>https://blog.youkuaiyun.com/Dulpee/article/details/88081135</link><guid>https://blog.youkuaiyun.com/Dulpee/article/details/88081135</guid><author>Dulpee</author><pubDate>Sat, 02 Mar 2019 20:49:19 +0800</pubDate><description><![CDATA[IMDB情感分析
第一步导包
from keras.preprocessing.text import Tokenizer
from keras.models import Sequential
from keras.layers.core import Dense,Activation
from keras.layers.embeddings import Embedding
from kera...]]></description><category></category></item><item><title><![CDATA[恒等函数和 softmax 函数]]></title><link>https://blog.youkuaiyun.com/Dulpee/article/details/87891421</link><guid>https://blog.youkuaiyun.com/Dulpee/article/details/87891421</guid><author>Dulpee</author><pubDate>Sat, 23 Feb 2019 13:42:10 +0800</pubDate><description><![CDATA[恒等函数会将输入按原样输出，对于输入的信息，不加以任何改动地直接输出。因此，在输出层使用恒等函数时，输入信号会原封不动地被输出。另外，将恒等函数的处理过程用之前的神经网络图来表示的话，则如图

和前面介绍的隐藏层的激活函数一样，恒等函数进行的转换处理可以用一根箭头来表示。
softmax 函数
公式如下

exp(x) 是表示 ex 的指数函数（e 是纳皮尔常数 2.7182 …）。式（3.10）...]]></description><category></category></item><item><title><![CDATA[神经网络]]></title><link>https://blog.youkuaiyun.com/Dulpee/article/details/87891390</link><guid>https://blog.youkuaiyun.com/Dulpee/article/details/87891390</guid><author>Dulpee</author><pubDate>Sat, 23 Feb 2019 13:39:25 +0800</pubDate><description><![CDATA[什么是神经网络
用图来表示神经网络的话，如图

我们把最左边的一列称为输入层，最右边的一列称为输出层，中间的一列称为中间层。中间层有时也称为隐藏层。“隐藏”一词的意思是，隐藏层的神经元（和输入层、输出层不同）肉眼看不见。另外，本书中把输入层到输出层依次称为第 0 层、第 1 层、第 2 层（层号之所以从 0 开始，是为了方便后面基于 Python 进行实现）。图 3-1 中，第 0 层对应输入层，...]]></description><category></category></item><item><title><![CDATA[感知机]]></title><link>https://blog.youkuaiyun.com/Dulpee/article/details/87887959</link><guid>https://blog.youkuaiyun.com/Dulpee/article/details/87887959</guid><author>Dulpee</author><pubDate>Sat, 23 Feb 2019 02:20:36 +0800</pubDate><description><![CDATA[感知机
感知机是什么呢?
感知机是一个接受输入多个信号输出一个信号的模型，如图

x1w1+x2w2其中输出只有两个值一个是0一个是1，当x1w1+x2w2输出大于一个阈值的时候输出1，小于则输出0

感知机的实现
基于python实现逻辑电路
实现AND_gate
现在让我们考虑用感知机来解决简单的问题。这里首先以逻辑电路为题材来思考一下与门（AND gate）。与门是有两个输入和一个输出的门电...]]></description><category></category></item><item><title><![CDATA[基于KenLM的句子打分项目]]></title><link>https://blog.youkuaiyun.com/Dulpee/article/details/87820485</link><guid>https://blog.youkuaiyun.com/Dulpee/article/details/87820485</guid><author>Dulpee</author><pubDate>Wed, 20 Feb 2019 20:27:41 +0800</pubDate><description><![CDATA[KenLM工具包
基于统计语言模型当中的训练语料库方法在这里介绍一下KenLM模型
KenLM基本介绍
工具介绍:https://kheafield.com/code/kenlm/
github地址:https://github.com/kpu/kenlm#kenlm
下载地址:http://kheafield.com/code/kenlm.tar.gz
在linux当中使用KenLM工具包
1....]]></description><category></category></item><item><title><![CDATA[文本表示]]></title><link>https://blog.youkuaiyun.com/Dulpee/article/details/87620641</link><guid>https://blog.youkuaiyun.com/Dulpee/article/details/87620641</guid><author>Dulpee</author><pubDate>Mon, 18 Feb 2019 14:50:52 +0800</pubDate><description><![CDATA[文本表示
文本表示，简单的说就是不将文本视为字符串，而视为在数学上处理起来更为方便的向量。而怎么把字符串变为向量，就是文本表示的核心问题。
文本表示的好处是什么?

根本原因是计算机不方便直接对文本字符串进行处理，因此需要进行数值化或者向量化。
便于机器学习。不仅传统的机器学习算法需要这个过程，深度学习也需要这个过程。
良好的文本表示形式可以极大的提升算法效果。

文本表示分为哪几种呢?(基于类型...]]></description><category></category></item><item><title><![CDATA[关键词提取]]></title><link>https://blog.youkuaiyun.com/Dulpee/article/details/87578688</link><guid>https://blog.youkuaiyun.com/Dulpee/article/details/87578688</guid><author>Dulpee</author><pubDate>Mon, 18 Feb 2019 03:06:25 +0800</pubDate><description><![CDATA[基于 TF-IDF 算法的关键词抽取
1.什么是TF-IDF呢?
TF(Term Frequency)词频
IDF(Inverse Document Frequency)逆文档频率,表示一个词的大小与常见词的反比
假如我们需要通过计算机来找到文本的关键词如何查找呢，一般是统计出现最高词语的频率也就是TF词频。但是在统计词语的过程中通常会遇到如下问题—最高出现的词汇可能是”停用词”，如”的”，”是”...]]></description><category></category></item><item><title><![CDATA[常见的英文文本处理步骤]]></title><link>https://blog.youkuaiyun.com/Dulpee/article/details/87578567</link><guid>https://blog.youkuaiyun.com/Dulpee/article/details/87578567</guid><author>Dulpee</author><pubDate>Mon, 18 Feb 2019 03:04:16 +0800</pubDate><description><![CDATA[常见的英文文本处理流程中都包含哪些步骤
1.导入相应的类库
import nltk
from nltk import word_tokenize, sent_tokenize
2.导入数据
corpus = open(‘数据路径’,‘r’).read()
3.对文本进行断句处理
sentences = sent_tokenize(corpus)
4.对含有的句子列表进行分词处理
tokenized...]]></description><category></category></item><item><title><![CDATA[语言模型]]></title><link>https://blog.youkuaiyun.com/Dulpee/article/details/87578437</link><guid>https://blog.youkuaiyun.com/Dulpee/article/details/87578437</guid><author>Dulpee</author><pubDate>Mon, 18 Feb 2019 03:01:45 +0800</pubDate><description><![CDATA[语言模型
语言模型在自然语言处理当中是用于计算一个句子的概率，如果一个句子表达的清晰度强那么概率值高，如“武松打死了老虎”与“老虎了死武松打”前者概率值就高于后者，前者出现概率更高。
联合概率链规则
在一句话当中每个词之间相互依赖概率统计公式为

但在现实情况中由于计算量过大所以我们一般不会计算所有词组之间的相互依赖关系。
如在垃圾邮件分类问题中我们可以只考虑每个句子当中词的前后之间的依赖关系，我...]]></description><category></category></item><item><title><![CDATA[自然语言处理总概括]]></title><link>https://blog.youkuaiyun.com/Dulpee/article/details/87297029</link><guid>https://blog.youkuaiyun.com/Dulpee/article/details/87297029</guid><author>Dulpee</author><pubDate>Thu, 14 Feb 2019 20:40:03 +0800</pubDate><description><![CDATA[自然语言处理
自然语言处理是什么
自然语言处理(Natural Language Process)就是利用计算机来处理人类语言的学科，属于计算机与语言学的交叉学科。
自然语言处理有哪些技术
大致包括如下技术:
1.分词(Word Segmentation或Word Breaker，WB)
在英文文本当中每个词之间都有间隔好分，但在中文文本当中一句话之间每个词是没有间隔的，所以需要对一个句子当中每个...]]></description><category></category></item><item><title><![CDATA[卡方分布]]></title><link>https://blog.youkuaiyun.com/Dulpee/article/details/86744293</link><guid>https://blog.youkuaiyun.com/Dulpee/article/details/86744293</guid><author>Dulpee</author><pubDate>Fri, 01 Feb 2019 19:48:50 +0800</pubDate><description><![CDATA[卡方分布主要有两个作用其中一个是检验拟合优度，另外一个作用是检验变量之间的相关性
拟合优度检验
依据总体分布状况，计算出分类变量中各类别的期望频数，与分布的观察频数进行对比，判断期望频数与观察频数是否有显著差异，从而达到从分类变量进行分析的目的。
如何观察显著差异呢?
用卡方分布进行检验为单尾检验，右尾被作为拒绝域。则通过查看检验统计量是否位于右尾的拒绝域以内，可以通过期望分布得到的结果的可能性来...]]></description><category></category></item><item><title><![CDATA[假设检验]]></title><link>https://blog.youkuaiyun.com/Dulpee/article/details/86702017</link><guid>https://blog.youkuaiyun.com/Dulpee/article/details/86702017</guid><author>Dulpee</author><pubDate>Wed, 30 Jan 2019 20:22:11 +0800</pubDate><description><![CDATA[批判性思维—假设检验
什么是假设检验?
举例:在电视剧当中如狄仁杰、白夜追凶、唐人街探案当中判案电视剧中，警察一般是假设嫌疑人无罪的情况然后去找证据，根据证据来逐一证明他有罪。
新研发的药物，

...]]></description><category></category></item><item><title><![CDATA[中心极限定理]]></title><link>https://blog.youkuaiyun.com/Dulpee/article/details/86679603</link><guid>https://blog.youkuaiyun.com/Dulpee/article/details/86679603</guid><author>Dulpee</author><pubDate>Mon, 28 Jan 2019 17:09:46 +0800</pubDate><description><![CDATA[什么是中心极限定理
样本均值:从总体中抽取一定大小的样本的均值
标准误差:样本均值的标准差等于总体均值的标准差除以样本容量的平方根。
1.在一个总体中无论成什么分布情况，在总体中样本均值都会大约成正态分布的情况，而且样本均值与总体均值相同，标准差为
测试地址:http://onlinestatbook.com/stat_sim/sampling_dist/index.html

将总体改成随机分布...]]></description><category></category></item><item><title><![CDATA[线性回归模型]]></title><link>https://blog.youkuaiyun.com/Dulpee/article/details/86676923</link><guid>https://blog.youkuaiyun.com/Dulpee/article/details/86676923</guid><author>Dulpee</author><pubDate>Mon, 28 Jan 2019 14:21:18 +0800</pubDate><description><![CDATA[监督学习:通过标注数据进行学习的方法
无监督学习:当一组数据很难获取标签的时候采用无监督学习，一般采用的方法是聚类分析。
损失函数:一种衡量指标，用于衡量模型的预测偏离其标签的程度，在求解最优化问题的时候一般通过损失函数来对模型参数进行评估。
线性回归:一种通过属性的线性组合来进行预测的线性模型，其目的是找到一条直线或者一个平面或者更高维的超平面，使得预测值与真实值之间的误差最小化。
方差:表示一...]]></description><category></category></item></channel></rss>