
python
文章平均质量分 87
tianyunzqs
【纯干货分享,个人学习笔记】欢迎关注个人公众号:NLPer笔记簿
展开
-
bazel编译tensorflow源码
在安装完tensorflow CPU版本后,经常看到如下的警告,该警告虽说可以通过一些python语句来忽略(忽略方法),但总有点眼不见为净的感觉。Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA该警告本质上是说由于机器的CPU支持AVX2的优化,但是安装的tensorflow包没有利用该优化。另一种解决该警告的方式是自己手动编译tensorflow安装包。自己手动原创 2021-05-08 19:30:56 · 7778 阅读 · 4 评论 -
机器学习常见评价指标
在机器学习或深度学习中,评价指标是衡量一个模型效果好与坏的标准。本文主要介绍一些常用的评价指标,包含:准确率(accuary)、精准率、召回率、F1值、PR曲线、ROC曲线、AUC等。在介绍这些评价指标之前,我们先来看一个简单的例子。对于舆情预警,判断一段舆情文本数据是否需要预警,其结果有两种:预警、不预警。如果有100条舆情文本,模型A预测为预警的样本数为25,其中这25个样本经过人工验证,发现有20个是真正需要预警的数据,另外的5条不需要预警;预测为不预警的样本数为75,其中这75个样本经过人工原创 2021-04-28 17:29:01 · 2188 阅读 · 3 评论 -
metrics.classification_report函数记录
机器学习/深度学习中,我们经常使用sklearn包中的metrics.classification_report来输出评价指标。本文主要是通过示例方式来记录该函数的常见输入与输出的含义。示例1>>> from sklearn.metrics import classification_report>>> y_true = [0, 3, 2, 2, 1, 1, 4, 3, 2, 4, 1, 0, 0]>>> y_pred = [0, 3, 1, 2原创 2021-04-27 11:50:41 · 2705 阅读 · 1 评论 -
【其他工具】亲戚关系计算器
转眼间又快到春节了,去年的春节由于疫情原因促生了云拜年,经过众多白衣天使的艰苦奋战,今年春节整体环境好了很多,但疫情防控仍然不能松懈。春节期间免不了给七大姑八大姨拜年的传统习俗,在中国的亲戚的关系"错综复杂",有时候一些亲戚该怎么称呼可能都不太清楚。这时,机智的程序员创造出了亲戚关系计算器。目前网上各种版本都已比较成熟,在此就不做过多介绍了,本文主要介绍亲戚计算器实现中的一些语法与其他小细节。并对以下的python版本进行一些细节上的优化。参考版本:https://zhuanlan.zhihu.com原创 2021-02-03 15:17:07 · 1052 阅读 · 0 评论 -
TensorFlow Serving模型转换与部署
文章目录1. TensorFlow Serving安装1.1. 拉取镜像1.2. 下载官方代码1.3. 运行TF Serving1.4. 客户端验证2. 将ckpt模型转换为pb模型3. 模型部署4. 多模型部署4.1 多(单)用户单模型4.2 多(单)用户多模型4.3. 接口请求5. 新增模型6. 可能出现的错误错误1:错误2:错误3:错误4:错误5:错误6:错误7:错误8TensorFlow...原创 2020-01-05 14:41:35 · 3470 阅读 · 4 评论 -
基础算法 | 决策树(ID3、C4.5和CART决策树python实现)
决策树(Decision Tree)是一种基于规则的基础而又经典的分类与回归方法,其模型结构呈现树形结构,可认为是一组if-then规则的集合。决策树主要包含三个步骤:特征选择、决策树构建和决策树剪枝。典型的决策树有ID3、C4.5和CART(Classification And Regression),它们的主要区别在于树的结构与构造算法。其中ID3和C4.5只支持分类,而CART支持分类和...原创 2019-12-25 09:10:07 · 3246 阅读 · 2 评论 -
常用工具 | 字典树
字典树又称单词查找树,Trie树,是一种树形结构,是一种哈希树的变种。典型应用是用于统计,排序和保存大量的字符串(但不仅限于字符串),所以经常被搜索引擎系统用于文本词频统计。它的优点是:利用字符串的公共前缀来减少查询时间,最大限度地减少无谓的字符串比较,查询效率比哈希树高。字典树有如下三个性质:1.根节点不包含字符,除根节点外每一个节点都只包含一个字符;2.从根节点到某一节点,路径上...原创 2019-12-18 14:42:27 · 355 阅读 · 0 评论 -
pandas读写Excel文件
pandas是基于numpy的一个数据分析python包,pandas读取Excel文件需要导入pandas包import pandas as pd下面简单记录pandas对excel的读写操作,以便后续查看。现有文件example.xlxs如下1.pandas读Excel文件读取excel文件,并将读入的数据转换为DataFrame格式# 读取exceldata = pd.re...原创 2019-11-27 11:21:52 · 1878 阅读 · 0 评论 -
docker从入门到实践
本文的主要目的是帮助零基础的读者快速上手docker,并掌握一些相关的常见命令。同时,本文也是作者对学习docker的一个笔记记录。本文主要是从实例出发,讲解一些docker的基本操作,若有不妥或错误之处,烦请指出,不胜感激! PS:关于docker的原理性的介绍不在本文范围内,只要记住一点:docker是一个独立的小型操作系统,可配置各种环境以满足你的代码需求。 操作系统:Cento...原创 2019-10-30 18:28:24 · 670 阅读 · 0 评论 -
supervisor安装与配置
Supervisor是用Python开发的一个client/server服务,是Linux/Unix系统下的一个进程管理工具,不支持Windows系统。它可以很方便的监听、启动、停止、重启一个或多个进程。用Supervisor管理的进程,当一个进程意外被杀死,supervisor监听到进程死后,会自动将它重新拉起,很方便的做到进程自动恢复的功能,不再需要自己写shell脚本来控制。1.supe...原创 2019-09-23 12:41:34 · 229 阅读 · 2 评论 -
gevent实现python并发api接口
公司之前算法对外提供服务都是通过flask框架生成的api接口的形式,而最近项目中需要提高算法api接口的并发性能,通过分析flask对外api接口发现,该api接口是串行的方式,也即阻塞的形式进行数据处理的(前一条数据处理完成,才会进入下一条数据的处理)。因此,将flask提供api接口改为gevent,改用gevent后,算法接口在并发性能上提升效果明显,下面简要记录一下,做个笔记。测试工...原创 2019-09-21 07:08:02 · 962 阅读 · 0 评论 -
python计算两个日期的间隔天数
# -*- coding: utf-8 -*-import datetimedef is_leap(year): if (year % 4 == 0 and year % 100) or year % 400 == 0: return 1 else: return 0def get_dates(year, month, day):原创 2017-10-26 10:08:28 · 4518 阅读 · 2 评论 -
将pycharm中项目上传到GitHub
简单记录将pycharm中的项目上传到GitHub的操作过程。1、在GitHub上新建repository,取名example;2、将example仓库clone到本地;3、clone到本地后,在该项目下添加/修改/删除文件,之后push原创 2017-08-12 23:43:52 · 1398 阅读 · 0 评论 -
更改pip源至国内镜像,显著提升下载速度
原文地址:http://blog.youkuaiyun.com/lambert310/article/details/52412059经常在使用Python的时候需要安装各种模块,而pip是很强大的模块安装工具,但是由于国外官方pypi经常被墙,导致不可用,所以我们最好是将自己使用的pip源更换一下,这样就能解决被墙导致的装不上库的烦恼。网上有很多可用的源,例如豆瓣:http://pypi.d转载 2017-08-18 17:18:26 · 363 阅读 · 0 评论 -
numpy中矩阵合并
python中科学计算包numpy中矩阵的合并,需要用到如下两个函数:列合并:np.column_stack() ,其中函数参数为一个tuple行合并:np.row_stack(),其中函数参数为一个tuple>>> import numpy as np>>> a = np.arange(8).reshape(4, -1)>>> print(a)[[0原创 2017-08-10 10:30:23 · 2675 阅读 · 0 评论 -
Python中的logging模块
转载,原文地址http://blog.youkuaiyun.com/liuchunming033/article/details/390804571、日志级别日志一共分成5个等级,从低到高分别是:DEBUG INFO WARNING ERROR CRITICAL。DEBUG:详细的信息,通常只出现在诊断问题上INFO:确认一切按预期运行WARNING:一个迹象表明,一些意想转载 2017-06-04 13:44:45 · 458 阅读 · 0 评论