Cherzhoucheer的博客

机器学习相对简单线性模型有更优异的效果，但是其复杂的原理让模型并不容易理解和解释。可解释的方法有很多众，大概可以分为全局解释和局部解释，以及与模型适配和与模型无关的方法，本文对一种局部的、与模型无关的方法Lime进行介绍，尝试从原理并结合python的Lime工具包进行梳理。原理介绍Lime（Local Interpretable Model-Agnostic Explanations）是使用训练的局部代理模型来对单个样本进行解释。假设对于需要解释的黑盒模型，取关注的实例样本，在其附近进行扰动生成新

在模型的训练过程中，往往会需求更加优异的模型性能指标如准确率、召回等，但在实际生产中，随着模型上线使用产生衰减，又需要快速定位问题进行修复，因此了解模型如何运作、哪些特征起到了关键作用有着重要意义。同时，可解释的模型能够让业务方也就是模型使用者，能够更加信任和熟悉模型的决策过程。尤其在风控领域，基于金融机构的监管层要求以及信贷业务的稳健发展方面，都需要在信贷业务流程中部署的风控模型具有良好的解释性。机器学习效果往往会优于传统的评分卡模型，相对于可以对每个入模变量赋予权重的逻辑回归方法来说，机器学习的训练

jupyter超实用功能：在做统计分析或者建模过程中，需要来回查看前后代码和中间步骤结果，目录栏功能能够快速定位到位置，能够大大提升工作效率。这里记录下安装过程，需要时方便查找。1.第一步, 安装 Jupyter Notebook建议直接安装anaconda2.第二步, 安装Jupyter Notebook extensionsconda install -c conda-forge jupyter_contrib_nbextensions3.第三步, 开启toc2插件..

eval() 函数用来执行一个字符串表达式，并返回表达式的值。通常，将字符串的内容表示为表达式时，便需要使用eval() 函数，特别是批量表示变量名或者dataframe内容时。eval(expression[, globals[, locals]])参数expression -- 表达式。 globals -- 变量作用域，全局命名空间，如果被提供，则必须是一个字典对象。...

一般最开始接触也就是最简单的函数参数形如 def fuc(x) ,但是也有复杂的函数参数传递方式，总结一下python的传参方式，先介绍一下参数的基本类型，最后讲到最复杂的（**params）类型。1. 位置参数一个最简单的函数形式，其中x,y就是位置参数：def add_both(x, y): return x+y2. 默认参数最大的好处是能降低调用函数的难度；...

1.概述队列（Queue）是一种先进先出（FIFO）的线性数据结构，插入操作在队尾（rear）进行，删除操作在队首（front）进行。 2.ADT队列ADT（抽象数据类型）一般提供以下接口： Queue()：创建队列enqueue(item)：向队尾插入项dequeue()：返回队首的项，并从队列中删除该项empty()：判断队列是否为空size()：返

dateutil模块主要有两个函数，parser和rrule。parser是根据字符串解析成datetime，而rrule是则是根据定义的规则来生成datetime。 parserparser是根据字符串解析成datetime,字符串可以很随意，可以用时间日期的英文单词，可以用横线、逗号、空格等做分隔符。没指定时间默认是0点，没指定日期默认是今天，没指定年份默认是今年。fr

由于重装系统以及64位电脑安装了32位python导致数据量导入过大时，出现memoryerror错误，干脆总结安装过程，省得每次安装去找教程和资源。 Python安装从官方网站下载python，各种版本可供选择：https://www.python.org/downloads/windows/这里选择的是64位2.7.11，下载地址为：https://www.

总结一下最近使用mysql数据库的代码：进行访问数据库/表——取出表中指定列取值为特定值的所有样本——写入文件 #-*- coding；utf-8 -*-# import sys# reload(sys)#sys.setdefaultencoding( "utf-8" ) importmysql.connectorimport pandas as pd conn=mysql

在建模过程中多次用到过sklearn.preprocessing.PolynomialFeatures，可以理解为专门生成多项式特征，并且多项式包含的是相互影响的特征集，比如：一个输入样本是２维的。形式如[a,b] ,则二阶多项式的特征集如下[1,a,b,a^2,ab,b^2]。官网文档：http://scikit-learn.org/stable/modules/generated/

堆栈堆栈（Stack）是一种后进先出（LIFO）的线性数据结构，对堆栈的插入和删除操作都只能在栈顶（top）进行。栈和队列主要用于计算过程中保存临时数据。堆栈ADT（抽象数据类型）一般提供以下接口：Stack()创建堆栈push(item)向栈顶插入项pop()返回栈顶的项，并从堆栈中删除该项clear()清空堆栈empty()判断堆栈是否为空

标准化数据的标准化（normalization）是将数据按比例缩放，使之落入一个小的特定区间。这样去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。其中最典型的就是0-1标准化和Z标准化0-1标准化(0-1 normalization) 也叫离差标准化，是对原始数据的线性变换，使结果落到[0,1]区间，转换函数如下：其中m

sklearn类：classsklearn.preprocessing.PolynomialFeatures(degree=2,interaction_only=False, include_bias=True)专门产生多项式的，并且多项式包含的是相互影响的特征集。比如：一个输入样本是２维的。形式如[a,b] ,则二阶多项式的特征集如下[1,a,b,a^2,ab,b^2]。参数解释

索引的设置与逆操作set_index：给当前的数据集设置索引reset_index：将当前的索引设置成列注意几个参数append：boolean,default False；Whether to append columns to existing indexdrop：boolean,default True；Delete columns to be used as the

概念逻辑回归就是这样的一个过程：面对或者分类问题，建立代价函数然后通优化方法迭代求解出最优的模型参数，然后测试验证我们这个好坏。Regression常规步骤Ÿ寻找h函数（即预测函数）；Ÿ构造 J函数（损失）；函数（损失）；Ÿ想办法使得 J函数最小并求得回归参（θ）构造预测函数h：logistic回归虽然名字里带“回归”，但是它实际上是

数据读取使用pandas读取结构化数据：pandas.read_csv(filepath_or_buffer, sep=', ', header='infer', names=None)探索数据了解数据类型  df.dtypes了解数值型变量的分布 df.describe()了解分类变量的分布  Series.value_counts()可以通过绘图探索数据

爬虫基本知识基本流程：网站-爬虫程序-本地存储（让爬虫程序伪装成一个浏览器去请求，而不是一个程序在跑）日常操作中打开网页流程：输入网站URL，按回车键-浏览器发送请求至远程服务器-远程服务器返回数据-浏览器渲染页面展示出合适的页面URL基本知识传输协议（HTTP、HTTPS、FTP等）：一个冒号，两个斜杠主机（通常是一个域名，也有是IP的）；端口（服务器上网络端

概念集成学习是机器中一个非常重要且热门的分支，用多个弱分类器构成一个强分类器，其哲学思想是 “三个臭皮匠赛过诸葛亮 ”。为什么要集成？模型选择：假设各弱分类器间具有一定差异性（如不同的算法，或相参数配置），这会导致生成假设各弱分类器间具有一定差异性（如不同的算法，或相参数配置），这会导致生成类决策边界不同，也就是说它们在时会犯的错误。将结合后能得到更理减少整体错误，

基本概念决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。三种结点：根结点：没有入边，但有零条或者多条出边内部结点：恰有一条入边和两条或多条出边叶结点：恰有一条入边，但没有出边种类：分类树：对离散变量做决策树回归树：对连续变量做决策树相关数学知识信息熵(entropy

__name__是当前模块名，当模块被直接运行时模块名为 __main__。这句话的意思就是，当模块被直接运行时，以下代码块将被运行，当模块是被导入时，代码块不被运行。 示例：# file one.pydef func(): print("func() in one.py") print("top-levelin one.py") if __name__ =="

time模块1)time模块中时间表现的格式主要有三种:　　a、timestamp时间戳，时间戳表示的是从1970年1月1日00:00:00开始按秒计算的偏移量　　b、struct_time时间元组，共有九个元素组。　　c、formattime 格式化时间，已格式化的结构使时间更具可读性。包括自定义格式和固定格式。 datatime模块重新封装了time模块，提供更多接

accuracy_score分类准确率分数是指所有分类正确的百分比。分类准确率这一衡量分类器的标准比较容易理解，但是它不能告诉你响应值的潜在分布，并且它也不能告诉你分类器犯错的类型。形式：sklearn.metrics.accuracy_score(y_true, y_pred, normalize=True, sample_weight=None)normalize：默认

常用数据结构List,tuple,dir,series,dataframe区别：list可修改，tuple不可修改操作：pop弹出最后一个元素；alist.append([5,6,7])在最后直接加上；alist.extend([5,6,7]) 把元素打开后添加到list里面去。 I/O数据的导入导出do=pd.read_csv("country_facts