angus_monroe的博客

pip install stanfordcorenlp去官网下载CoreNLP解压CoreNLP，得到stanford-corenlp-4.2.0unzip stanford-corenlp-latest.zip简单实用示例：>>> from stanfordcorenlp import StanfordCoreNLP>>> nlp = StanfordCoreNLP('./stanford-corenlp-4.2.0')>>> s .

最近在做数据可视化的时候用到了graphviz库，用于生成决策树、流程图效果拔群，在这里记录一下用法安装pip install graphviz直接pip，不多解释了使用以下代码均在python3.6.1下编译通过导入库from graphviz import Digraph创建表dot = Digraph(name, comment)添加点d...

最近准备AI Challenger的时候要用到BLEU、NIST等评价指标对机器翻译的效果进行评价，BLEU比较好找，NIST就比较麻烦了，在这记录一下使用方法关于BLEU的介绍可以参考对话响应生成的无监督评估指标的实证研究NIST(National Institute of standards and Technology)方法是在BLEU方法上的一种改进。最主要的是引入了每个n-gram的...

numpy学习笔记Why numpy？numpy是科学运算中非常重要的一个模块，在数据分析、机器学习、深度学习等方面都有应用其优点包括：运算速度快：numpy都是采用C语言编写消耗资源少：采用的是矩阵运算，会比 python 自带的字典或者列表快很多安装一般anaconda环境会自带numpyNumpy的安装文件地址是这里。里面有不同版本，有开发者版本和稳定版...

转载自后台运行python程序并输出到日志文件现在有test.py程序要后台部署, 里面有输出内容使用命令:nohup python -u test.py > test.log 2>&1 &最后的&表示后台运行 2 输出错误信息到提示符窗口 1 表示输出信息到提示符窗口, 1前面的&注意添加, 否则还会创建一个名为1的文件 最后会把...

最近在实验室负责微信公众号后台的搭建，为了方便以后查询，在这里记录一下常用的命令。登录服务器ssh -t <用户名>@<公网IP>指定端口登录ssh -t <用户名>@<公网IP> -p <端口号&am

Redis数据类型String:二进制安全,可以包含任何数据Hash:一个键值(key=>value)对集合List:简单的字符串列表Set:string类型的无序集合Zset:每个元素都会关联一个double类型的分数,redis通过分数来为集合中的成员进行从小到大的排序Redis基本命令Key: set, get, deleteHash: hmset, ...

msgpack用起来像json，但是却比json快，并且序列化以后的数据长度更小，言外之意，使用msgpack不仅序列化和反序列化的速度快，数据传输量也比json格式小，msgpack同样支持多种语言。安装直接pip即可pip install msgpack使用import msgpackvar = {'a': 'this', 'b': 'is...

内置函数isinstance内置函数type

在使用Matplotlib绘图时，在Pycharm中运行无法显示出图像，而使用Python自带的IDLE可以正确显示。代码如下：import numpy as npimport matplotlib.pyplot as plt# artificial datagreyhounds = 500labs = 500grey_height = 28 + 4 * np.ran...

docx2txt的Github地址docx2txt是基于python的从docx文件中提取文本和图片的库。代码是从python-docx中获取的。它也可以从页眉，页脚和超链接中提取文本。它现在也可以提取图像。安装pip install docx2txt运行命令行运行# extract textdocx2txt file.docx# extrac...

正则表达式本节我们看一下正则表达式的相关用法，正则表达式是处理字符串的强大的工具，它有自己特定的语法结构，有了它，实现字符串的检索、替换、匹配验证都不在话下。当然对于爬虫来说，有了它，我们从HTML里面提取我们想要的信息就非常方便了。实例引入说了这么多，可能我们对它到底是个什么还是比较模糊，下面我们就用几个实例来感受一下正则表达式的用法。我们打开开源中国提供的正则表达式测试工具http://too...

机器学习中分类和预测算法的评估：准确率速度强壮性可规模型可解释性 决策树决策树是一个类似于流程图的结构节点表示判断，将连续变量离散化，规定阈值归类信息熵：变量的的不确定性越大，熵也就越大 计算公式：P(x)为单个事件的概率决策树归纳算法（ID3）选择属性判断结点         信息获取量(Information Gain)：Gain(A

Python 3自带了一个叫做2to3的实用脚本(Utility Script)，这个脚本会将你的Python 2程序源文件作为输入，然后自动将其转换到Python 3的形式。

首先确定需求：从“用药参考”上获取药品的名称、适应症等信息保存到本地，为数据处理做准备通过观察可以发现，不同药品的网址存在一定规律，即http://drugs.medlive.cn/drugref/html/2.shtml，“.shtml”前面的数字代表不同药品（按拼音顺序排列？）这里我们把药品的范围限定在西药，经过多次试验可以发现其范围区间为2到14578，也就是说这一万四千多种

经过之前一周的工作，我已经成功的把网站上的数据爬取下来并保存到了数据库中，接下来就要对爬取到的数据进行处理了。首先，由于我们爬取到的数据都是自然语言，比如适应症的描述都是类似于“用于冠动脉粥样硬化心脏病的治疗”这样的，给我们进行搜索和查询带来了不少的困难，所以我们最先要做的就是分词，即将自然语言分解为一个个的词组，然后再经过筛选去除没用的词语，留下有用的作为关键词。分词通常有三种方法，一是

在之前已经实现了将爬取到的信息直接打印出来，但这样是远远不够的，要对数据进行进一步的处理，就要将其存放在数据库中，我的方法是先将数据调整格式后储存在本地的Excel中，然后再由Excel导入数据库。对Excel进行操作主要用到了xlwt模块，官网下载（http://pypi.python.org/pypi/xlwt）。大致使用流程如下：1、导入模块　　import

这篇博客主要记录项目开发过程中遇到的两个问题第一个问题是由于之前发现Python直接对数据库进行修改时受网络情况影响大，导致效率低下，所以改用本地Excel进行分词以及数据清洗的操作，这样明显比之前的效率高了不少，但是由于电脑本身的性能限制，仍然有些不理想，但已经比原来好很多了之前对Excel进行操作主要用到了xlwt模块，这个模块主要功能是向Excel导入数据，而如果要实现本地分

# coding: utf-8# ###jieba特性介绍# 支持三种分词模式：# 精确模式，试图将句子最精确地切开，适合文本分析；# 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；# 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。# 支持繁体分词。# 支持自定义词典。# MIT 授权协议。# ###分词...

经过对各种机器学习算法的初步了解，我最终选定了word2vec来实现药品推荐的功能word2vec是word embedding（词向量）的一种浅层神经网络训练方法。word embedding的这一系列的训练方法，都有一个有趣的现象，那就是训练的主要目标居然是获得side effect的词向量，而不是神经网络的预测模型。这是一种Transfer Learning的思想。这种思想非常值得学

用之前获取到的数据对word2vec进行训练时发现得到的模型并不理想，所以为了使模型更加精确，我决定增加数据量继续进行训练要从哪里获取大量的数据就是一个很头疼的事了，我一直没有很好的解决方案，直到昨天另外一个项目组开会时一个学长的方案给了我很大启发这里数据的来源就是百度百科，经过观察很容易发现，百度百科有一个特点，其不同词条前半部分URL是相同的，都是https://baike.baidu

Python中gensim库word2vec的使用：pip install gensim安装好库后，即可导入使用：1、训练模型定义from gensim.models import Word2Vec  model = Word2Vec(sentences, sg=1, size=100,  window=5,  min_count=5,  negative=3, sample=0....

之前在这个项目中症状与药品的匹配是另外一个队友做的，我一直没有仔细研究，今天有时间就大概看了一下，在这里总结一下。首先，这个检索过程用到了levenshtein算法，也就是求编辑距离，先来解释一下这个算法的原理：编辑距离定义：编辑距离，又称Levenshtein距离，是指两个字串之间，由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括：将一个字符替换成另一个