MrLittleDog的博客

博主的系统是ubuntu14.04，之前一段时间一直使用的是python2.7，最近因业务需要升级到python3.6。在将项目由python2.7升级到python3.6的过程中，涉及到C++文件封装到python的重新编译配置。编译过程中报错：boost/python/detail/wrap_python.hpp:50:23: fatal error: pyconfig.h: 没有...

Matplotlib绘图基本操作声明绘制简易折线图子图操作条形图与散点图条形图散点图直方图和盒图声明本文涉及的代码基于python 3.6.5 numpy1.14.3 pandas 0.23.0 matplotlib 2.2.2。matplotlib是python中常用的图表绘制工具；pandas是常用的数据处理工具，关于pandas的使用可以参考我的这篇文章：Pandas基本操作与常用接口...

转眼间，接触NLP已经一年多了，虽然大部分时间是在打杂，但也多少积累了一点东西。今天在这里我就把我自己写的中文NLP数据预处理代码分享一下，代码基于python 3.6.5在win 10通过测试，涵盖了我自己常用的一些操作。程序大致包括的功能如下表：文件操作去噪操作其他读写文本删除空行分词合并文件删除中英文标点词性标注分割数据集删除停用词命名实体识...

numpy.interp()主要使用场景为一维线性插值，我在直接看官方文档时一下子没有明白，后来结合图像绘制才明白它的用法，下面我们使用官方代码示例和我给出的图像对其进行简单介绍。首先官方对该函数的解释是：一维线性插值.返回离散数据的一维分段线性插值结果. 参数x: 数组待插入数据的横坐标. xp: 一维浮点数序列原始数据点的横坐标，如果period参数没...

目录ROC曲线定义绘制ROC曲线AUC定义代码讲解二分类多分类这篇文章中我将使用sklearn的ROC曲线官方示例代码进行讲解，当然主要目的还是在于记录，好记性不如烂键盘嘛。ROC曲线定义ROC曲线是Receiver Operating Characteristic Curve的简称，中文名为“受试者工作特征曲线”。ROC曲线的横坐标为假阳性率（False Positive Rate，FP...

目录混淆矩阵准确率精确率召回率分类是机器学习中比较常见的任务，对于分类任务常见的评价指标有准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1 score、ROC曲线（Receiver Operating Characteristic Curve）等。这篇文章将结合sklearn对准确率、精确率、召回率、F1 score进行讲解，ROC曲线可以参考我的这篇文章...

文章目录栈队列双端队列栈栈（stack）是一种容器，它的特点在于只允许在容器的一端（称为栈顶指标，即top）进行加入数据（push）和输出数据（pop）的运算，即按照后进先出（LIFO，Last In First Out）的原理运作。栈可以用顺序表实现，也可以用链表实现。顺序表或链表决定了数据如何存放，栈决定了数据如何操作。Python中的列表（List）就相当于顺序表，现在我们采用Lis...

文章目录前言基本KMeans两种改进算法前言聚类分析将数据划分成有意义或有用的簇。如果目标是划分成有意义的簇，则簇应当捕获数据的自然结构。聚类是一种无监督学习方法，因为只是根据样本的相似度或距离将其进行归类，而类或簇事先并不知道。常用的聚类算法包括：层次聚类、K均值聚类、DBSCAN。在这篇文章中我们简单介绍一下基本KMeans算法的实现。因为基本KMeans算法的原理比较简单，这里就不...

文章目录引子说明语法示例引子最近在刷题时碰到一个排序的子问题，问题大致是有两个整型数组a和b，a和b的元素是一一对应的，现需要以a为基准排序，且a和b的对应关系不能变。假设有数组a=[100,700,300,150,450]a = [100, 700, 300, 150, 450]a=[100,700,300,150,450]和b=[1,2,3,4,5]b = [1, 2, 3, 4, 5]...

文章目录前言单链表单循环链表双链表双循环链表错误纠正说明时间复杂度比较关于头结点前言博主最近在复习算法与数据结构，由于平时主力语言是Python，所以找了个用Python讲解数据结构的视频看了下，链接为：https://www.bilibili.com/video/av20982396?p=1。关于链表，视频里讲的很清楚，但是代码有几处小错误，现将其代码纠正，并添加视频里没有讲到的双循环链表...

目录前言tf.train.BytesList等tf.train.Featuretf.train.Featurestf.train.Example前言最近在看到一个代码时，里面用到了tf.train.Example，于是学习了其用法，这里记录一下，也希望能对其他朋友有用。另外，本文涉及的代码基于python 3.6.5 tensorflow 1.8.0tf.train.Example主要用在...

目录前言str与bytesbase64模块struct模块参考链接前言本文所涉及到的代码均基于python 3.x。str与bytes在写代码时，我们经常会涉及到字符串的处理，但字符串的编码问题常常令我们很头痛。当然本篇文章不是去说编码的，而是主要讲讲二进制处理，python 3为我们提供了bytes，利用bytes可以一定程度上缓解编码出错的问题，因为bytes是字节序列，无所谓编码。下...

当交付工程项目时，一般希望核心代码和数据不被公开，此时需要进行加密处理，并保证代码能够正确运行。下面介绍一个我最近写的一个release版本发布工具，实现了txt文件、excel文件加密，并将python代码编译成so文件（Linux平台）。其中txt, excel文件加密使用了AES加密算法，在这些数据加密后代码要做一定的更改，即加密的数据在需要使用时解码，使用完再将数据加密放回去。众所周知，P...

自然语言数据预处理中经常会涉及到同义词替换，比如计算两个句子的相似度中，把一个词的两个同义词利用同义词替换技术转换为同一个词，那么就提高了相似度计算的可靠性。学习自然语言处理的同学肯定都会做到数据预处理的工作，下面分享我最近写的一个程序，希望能为从事同样工作的同学提供那么一点帮助，也希望自己的程序能够得到指点。程序中设计到分词技术和同义词表，分词采用了哈工大的pyltp，其官方文档链接为htt...

自然语言处理中经常涉及到创建词典或者词频统计，这里分享一个小程序，希望能给大家提供一点帮助，也欢迎各位指点我的程序，哪怕再小的程序也值得不断完善。词频统计问题可以描述如下：用Python实现函数count_words()，该函数输入字符串s和数字n，返回s中n个出现频率最高的单词。返回值是一个元组列表，包含出现次数最高的n个单词及其次数,即[(<单词1>, <次数1>), ...

最近开始接触图像处理，接到的首个任务就是将实验室用颜色标记好的数据再在原图上按不同颜色框出来，以在模型预测阶段检查预测效果。下面使用一张摇滚乐队Halestrom的图片进行说明。首先，我拿到的原图如下图所示：图1我们将原始图片按照人、地板、墙三种元素进行标记，得到下图：图2将上述两张图片输入我们的模型，那么模型能够做到给出一张新的图片它就能够输出一张按颜色分类标记元素的图片...

当我在一次写下如下代码时，报错AttributeError: 'dict' object has no attribute 'has_key'：if not my_dict.has_key(my_key):当时真的是一脸懵逼，我在Python2的时候一直这样写的，为什么会错呢？后来经过查询文档发现，在Python3中废除了dict的has_key()方法。那么，如果我们还想实现上...

我平时的Python环境管理采用的是Anaconda（Windows和Linux下都是），当我有几天没有使用Tensorflow后再次使用后报了标题上的错，这时我是在Windows的环境下。我为什么说问题出在Tensorflow呢？因为我的其他没有涉及到Tensorflow的代码都还能正常运行，一旦涉及到Tensorflow的都报这个错，从网上找到一个相关的案例，但是没有解决我的问题。先把他的...

在这篇文章里我们聊一下Python实现图片裁剪的两种方式，一种利用了Pillow，还有一种利用了OpenCV。两种方式都需要简单的几行代码，这可能也就是现在Python那么流行的原因吧。首先，我们有一张原始图片，如下图所示：原始图片然后，我们利用OpenCV对其进行裁剪，代码如下所示：import cv2img = cv2.imread("./data/cut/thor.j...

NumPy基本操作与语法声明创建数组shape属性dtype属性ndim属性size属性数组切片广播机制向量化类型转换特定维度上运算其他常用方法求均值幂、开方、指数与对数矩阵变形舍入取整矩阵合并与分割浅拷贝与深拷贝声明本文涉及的代码基于python 3.6.5 numpy 1.14.3使用numpy模块之前首先需要在代码之前导入该模块import numpy as np文中会用到wor...

Pandas基本操作与常用接口声明读取csv文件索引与计算常用预处理方法Series基本结构声明本文涉及的代码基于python 3.6.5 pandas 0.23.0pandas是一个在numpy之上，提供了丰富的数据预处理接口的模块。使用pandas模块之前首先需要在代码之前导入该模块：import pandas as pd读取csv文件现在我们有一个food_info.csv文...

文章目录树树的术语树的种类树的存储与表示常见的一些树的应用场景二叉树二叉树的性质广度优先遍历深度优先遍历树树是用来模拟具有树状结构性质的数据集合。它是由n（n>=1）个有限节点组成的一个具有层次关系的集合。把它叫做“树”是因为它看起来像一棵倒挂的树，也就是说它是根朝上，而叶朝下的。它具有以下特点：每个节点有零个或多个子节点；没有父节点的结点称为根节点；每一个非根节点有且只有一个父...