成功唯有积累，没有奇迹。

一. 查看每列的数据结构def print_col_info(dataset): '''print info of every column in dataset: detailed info includes: 1, values 2, value type num''' col_num=dataset.shape[1] for i in ran...

Python数据分析与挖掘实战第三章 数据探索3.1 数据质量分析3.1.1 缺失值分析3.1.2 异常值分析3.2 数据特征分析3.2.1 统计量分析3.2.2 贡献度分析3.2.2 相关性分析第三章 数据探索3.1 数据质量分析3.1.1 缺失值分析缺失值的处理分为三种情况:删除存在缺失值的记录;对可能的数据进行插值:拉格朗日插值,牛顿插值法:3.1.2 异常值分析首先可以...

BOSS直聘职位信息爬取分析

一.实现一个功能：1.求出平均值；2.并在其列筛选出其大于平均值的数；二.将分开的文件合并操作：三.排序四.找到多页面下的文章后,按照专栏名字进行对应，记录保存名字后的那些文章；五.实现某列的去重,只保留其中一行的数据内容：使用drop_duplicates方法来实现数据去重，实现方式如下：test = test.drop_duplicates("标题"六.删除某一列中含有’万’字...

一.前言数模结果已出，如果你在了解自己成绩的同时，也想了解下同校别人的成绩，或者还想再了解下别校获奖的情况。靠一个个ctrl+f查，不如利用pandas来实现下...

#matplotlib绘制图形时中文乱码处理from pylab import mplmpl.rcParams['font.sans-serif'] = ['SimHei'] 

先占个坑,这周更

1.将Pandas类型转换为numpy类型，通过.values来转换：np = pd.values 2.将numpy类型转换为list类型,通过.tolist()方法转换：list = np.tolist() 

Pandas新添加一列A，为A列赋值，值为B列的value:  1.若两列的行数相同，则可以直接进行赋值： test_X['multiple'] = test['multiple']  2.若两列的行数不同，则可以采用左连接的方式进行赋值:后期整理。。...

       今天遇到一个需求如下：需要删除读取的csv的文件中，某一列为空的行，想到Dataframe中有dropna方法来删除空值，于是查文档操作如下：       test1000 = test1000.dropna(subset=['prediction_pay_price'])       subset的参数是列名,可以指定多列;      如果要删除列的话,则可以：...

# 5个常用的py库：numpy,pandas,Scipy(实现了线性代数,傅里叶变换,信号和图像处理),matplotlib,skitlearn# 矩阵:矩阵的数组,即二维数组,其中向量和标量都是矩阵的特例# 向量:是指1*n或者n*1的矩阵# 标量:1*1的矩阵# 数组:n维的数组,是矩阵的延伸# 矩阵:二维数组; 向量:1*n或者n*1# 数组的创建和访问import num...

     Pandas是数据科学领域非常重要的工具,它主要可以做数据分析的处理,Pandas主要有两个主要的数据结构,一个是Series,一个是Dataframe. 一.Series创建:   1.通过py list来创建series:     s1 = pd.Series([1,2,3,4])     Series中有两部分内容,第一个内容是数据value,第二个是索引ind...

一.Series和DataFrame的简单数学运算      1.Series的运算:       有值的则相加,没值对照的相加的为nan;      2.Dataframe的运算:      dataframe之间的相加运算和Series一样,不同的是sum运算:df3 = DataFrame([[1,2,3],[4,5,np.nan],[7,8,9]],index=['A...

1.简单绘图    让图像显示出来的方法:    方法一:    plt.plot(a,b)    plt.show()    方法二:    %matplotlib inline    plt.plot(a, b)   # %timeit 表示代码执行的时间   %timeit  # 第三个参数表示线段的类型,  plt.plot(a, b, '--')...

       累加cumsum和累乘cumprod主要是用来看数据的变化趋势.      累加是通过流量得到存量，比如每天销售量的多少，得到今年的销售量总量;      累乘是通过变化率来得到存量，比如有每天的数据变动趋势，通过累乘来得到当前的数据;      累加的用法:      通过df.cumsum()   来求df的累计次数;       ...