光英的记忆博客

"""https://github.com/facebookresearch/fastTextpython版本https://github.com/salestock/fastText.py这个是非官方的版本　现在已经不在使用了官方提供了Python版本　https://github.com/facebookresearch/fastText/tree/master/python现...

https://github.com/facebookresearch/fastTextpython版本https://github.com/salestock/fastText.py这个是非官方的版本　现在已经不在使用了官方提供了Python版本　https://github.com/facebookresearch/fastText/tree/master/python现在用的...

RuntimeError: Unsupported compiler -- at least C++0x support is needed!主要报错信息 ERROR: Command errored out with exit status 1: command: /root/anaconda3/envs/torch13/bin/python -u -c 'import s...

"""朴素贝叶斯我们试试用朴素贝叶斯完成一个中文文本分类器，一般在数据量足够，数据丰富度够的情况下，用朴素贝叶斯完成这个任务，准确度还是很不错的。机器学习的算法要取得好效果，离不开数据，咱们先把数据加载进来看看。准备数据准备好数据，我们挑选 科技、汽车、娱乐、军事、运动 总共5类文本数据进行处理。"""import jiebaimport pandas as pddf_te...

TF/idf进行关键词提取"""关键词提取基于 TF-IDF 算法的关键词抽取import jieba.analysejieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())sentence 为待提取的文本topK 为返回几个 TF/IDF 权重最大的关键词，默认值为 20withW...

import warningswarnings.filterwarnings("ignore")import jieba #分词包import numpy #numpy计算包import codecs #codecs提供的open方法来指定打开的文件的语言编码，它会在读取的时候自动转换为内部unicode import pandas as pd import mat...

写本篇文章之前，我觉得一定要搞懂几件事第一 这个模型他干了什么事第二这个模型的目标函数是什么想完这个 在回去读那些讲词向量理论的文章才会觉得豁然开朗"""学习词向量的概念用Skip-thought模型训练词向量学习使用PyTorch dataset和dataloader学习定义PyTorch模型学习torch.nn中常见的ModuleEmbedding学习常见的P...

import gensimimport mathimport jiebaimport jieba.posseg as possegfrom jieba import analysefrom gensim import corpora, modelsimport functoolsimport numpy as np# 停用词表加载方法# 停用词表存储路径，每一行为一个词，按...

1.https://nlp.stanford.edu/software/ 官网地址2.jar包下载地址 https://stanfordnlp.github.io/CoreNLP/ https://stanfordnlp.github.io/CoreNLP/download.html3.https://github.com/stanfordn...

import jiebaimport jieba.analyse as aly# 中文 分词工具jiebasent = '中文分词是文本处理不可或缺的一步！'seglist = jieba.cut(sent, cut_all=True)print("全模式", '/'.join(seglist))# 全模式 中文/分词/是/文本/文本处理/本处/处理/不可/不可或缺/或缺/的/一...

import jiebaimport jieba.posseg as possegimport refrom datetime import datetime,timedeltafrom dateutil.parser import parser# 中文词性标注和命名实体识别sent = "中文分词是文本处理不可或缺的一步！"seglist = posseg.cut(sent)...

结论：数据：ham_data.txtspam_data.txtstop_words.utf8数据处理："""@author: liushuchun"""import reimport stringimport jieba# 加载停用词with open("dict/stop_words.utf8", encoding="utf8") as f: ...

1.首先爬取豆瓣上所有的书籍信息作为基本的语料文本，大概5000个文本数据派虫代码如下：测试通过import sslimport bs4import reimport requestsimport csvimport codecsimport timefrom urllib import request, errorcontext = ssl._create_unve...

这是我见到比较清楚的对LSTM网络结构比较清晰的解释，故摘抄方面大家理解

# encoding:utf-8import numpy as npwordsList = np.load('wordsList.npy')print('载入word列表')wordsList = wordsList.tolist()wordsList = [word.decode('UTF-8') for word in wordsList]wordV...

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding ...

论文地址BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding：https://arxiv.org/pdf/1810.04805.pdf摘要我们介绍了一种新的语言表示模型BERT，它表示转换器的双向编码器表示。与最近的语言表示模型不同(Peters et al., 2018; Ra...

import tensorflow_datasets as tfdsimport tensorflow as tfimport timeimport numpy as npimport matplotlib.pyplot as plt#加载数据examples, metadata = tfds.load('ted_hrlr_translate/pt_to_en', with_i...

python自然语言处理实战 python和nltk电子书 自然语言处理简介第一章实例代码 NLTK文本整理和清洗示例代码 NLTK 对文本结构进行语法分析代码示例 NLTK获取文章摘要代码示例 NLTK朴素贝叶斯,文本分类代码示例 采样 SMSSpamCollection数据集下载 混淆矩阵(Confusion matrix)的原理及使用(scikit-lea...

Python NLTK 自然语言处理入门与例程在这篇文章中，我们将基于 Python 讨论自然语言处理（NLP）。本教程将会使用 Python NLTK 库。NLTK 是一个当下流行的，用于自然语言处理的 Python 库。那么 NLP 到底是什么？学习 NLP 能带来什么好处？简单的说，自然语言处理（ NLP ）就是开发能够理解人类语言的应用程序和服务。我们生活中经常会接触的自然语...

aa = [np.argmax(l) for l in mnist.test.labels]#将onehot编码转成一般编码

本文出自作者：张锋出处：http://www.cnblogs.com/skyme/https://www.cnblogs.com/skyme/p/4651331.html什么是熵(Entropy)简单来说，熵是表示物质系统状态的一种度量，用它老表征系统的无序程度。熵越大，系统越无序，意味着系统结构和运动的不确定和无规则；反之，，熵越小，系统越有序，意味着具有确定和有规则的运动状...

本文出自原文地址：http://www.cnblogs.com/baiboy/p/crf3.html1 机器学习中的生产模型与判别模型生产式模型与判别式模型简述，条件随机场是哪种模型？有监督机器学习方法可以分为生成方法和判别方法：1）生产式模型：直接对联合分布进行建模，如：混合高斯模型、隐马尔科夫模型、马尔科夫随机场等2）判别式模型：对条件分布进行建模，如：条件随机场、支持...

首先感谢作者帮助我解决问题，认为能解决问题的文章就应该被转载和推广以帮助更多的人。本文出自https://blog.youkuaiyun.com/all4git/article/details/80007035右键计算机 > 管理 > 服务和应用程序 > 服务找到 “Windows Installer”右键选择 “启动...

众所周知，贝叶斯定理是一种在已知其他概率的情况下求概率的方法：首先，对于贝叶斯定理，还是要先了解各个概率所对应的事件。P(A|B) 是在 B 发生的情况下 A 发生的概率；P(A) 是 A 发生的概率；P(B|A) 是在 A 发生的情况下 B 发生的概率；P(B) 是 B 发生的概率。...

1.

本文出自https://www.cnblogs.com/xueyinzhe/p/7101295.html　今天要介绍的TextRank是一种用来做关键词提取的算法，也可以用于提取短语和自动摘要。因为TextRank是基于PageRank的，所以首先简要介绍下PageRank算法。1.PageRank算法　　PageRank设计之初是用于Google的网页排名的，以该公司创办人拉里·...

1.关键字提取LSA/LSI/LDA算法

Sigmoid函数 f(x)=1/1+e^-x 值（0-1）缺点 存在饱和问题 实现：tf.nn.sigmoid(x,name=None) 特征相差不大，需要更细微的分类判断 sigmoid效果要好一些 Tanh函数 双曲正切 tanh(x)=2Sigmoid(2x)-1 值（-1，1) 缺点 存在饱和问题 实现: tf.nn.t...

http://www.cnblogs.com/pinard/p/6069267.htmlhttps://www.cnblogs.com/pinard/category/894695.html

语言合成开源库webrtc开源库 speex开源库 audacity开源库 音频算法开源库 语言降噪 回音消除 VAD AGC 音频均衡器/环绕音/低音增强音效算法 NLP语言处理常用算法HMM隐马尔可夫 维特比算法 jieba开源库（分词，词性标注，命名实体识别...

1.Sklearn简介Scikit-learn(sklearn)是机器学习中常用的第三方模块，对常用的机器学习方法进行了封装，包括回归(Regression)、降维(Dimensionality Reduction)、分类(Classfication)、聚类(Clustering)等方法。当我们面临机器学习问题时，便可根据下图来选择相应的方法。Sklearn具有以下特点：简单高效的数据挖掘和...

Word2vec是目前最常用的词嵌入模型之一。是一种浅层的神经网络模型，他有2种网络结构，分别是CBOW(continues bag of words)和 skip-gram.Word2vec 隐狄利克雷模型（LDA),CBOW,Skip-gramWord2vec是如何工作的？CBOW的目标是根据上下文出现的词语来预测当前词的生成概率：Skip-gram模型是根据当前词来...

知识点：迁移学习（Transfer Learning),生成对抗网络，图像处理，上采样技术，数据扩充一个模型所能提供的信息一般来源于2个方面，一是训练数据中蕴含的信息，二是在模型的形成过程中（包括构造，学习，推理等），人们提供的先验信息。当训练数据不足时，说明模型从原始数据中获取的信息比较少，这种情况下要保证模型的效果，就需要更多的先验信息。先验信息可以作用在模型上，例如让模型...

前提问题分析：Hulu的奢侈品用户广告主们希望把广告定向投放给奢侈品用户。Hulu通过第三方数据平台（DMP)拿到了一部分奢侈品用户的数据，并以此为训练集合测试集，训练和测试奢侈品用户的分类模型。该模型的分类准确率超过了95%，但在实际广告投放过程中，该模型还是把大部分广告投给了非奢侈品用户，还肯能是什么原因造成的？准确率的局限性准确率是指分类正确的样本占总样本的比例：Accuar...

百面机器学习算法总结索引（声明：以下所有内容及其链接内容来自于百面机器学习一书，仅供自己方便学习和复习，不做任何商业用途，所有链接内容继承本声明） 第一节：特征归一化 1.为什么需要对数值类型的特征做归一化？ 2.在对数据进行预处理时，应该怎样处理类别型特征？ 3.如何处理高纬度组合特征？什么是组合特征？ 4. 5.有哪些文本表示模型？它们各有什么优缺点？...

MFCC(Mel-frequency cepstral coefficients):梅尔频率倒谱系数。梅尔频率是基于人耳听觉特性提出来的， 它与Hz频率成非线性对应关系。梅尔频率倒谱系数(MFCC)则是利用它们之间的这种关系，计算得到的Hz频谱特征。主要用于语音数据特征提取和降低运算维度。例如：对于一帧有512维(采样点)数据，经过MFCC后可以提取出最重要的40维(一般而言)数据同时也达到了将...

1.