
pandas
梁先森-在技术的路上奔跑
希望能做一个为周围人带来温暖,为家人和爱人带来幸福,为社会做出贡献的人
展开
-
通过源代码进行高效学习pandas,受益颇多
通过源代码学习pandas我不知道大家是怎么学习pandas这个包的,我是首先看了一遍教学视频,然后看了一遍文档,当我在使用的时候,两个感受,第一,我手中的文档是别人整理的,对于方法只有部分重要参数介绍。第二,视频教程不会给你也只会给你讲一些常用的参数。当然,如果你从官网整理了官方的文档,那是十分的详细了,也就不用看这篇文章了。但是,你没有这样的一篇完整的文档,下面的内容好好看看。举个获取...原创 2020-02-17 17:00:38 · 2342 阅读 · 0 评论 -
pandas数据离散化pandas.cut()和pandas.qcut()
pandas数据离散化什么叫数据离散化?也可以理解为数据分组。举个简单的例子,我们有一组学生成绩的数据,我们可以将数据按照成绩的最大值和最小值划分为几个相同的区间。假设最高分100分,最低分50分,我们可以划分为两个相同宽度的范围。分别是[50,74]、[75,100]。 统计这两个区间都有多少数据。第二种是根据人数对成绩区间进行划分,所划分的区间人数基本持平。接下来具体通过代码来实现看看。...原创 2020-02-17 16:36:58 · 811 阅读 · 6 评论 -
pandas数据的异常值判断、可视化以及异常值的处理
pandas数据的异常值判断、可视化、处理方式回想一下我们小时候参加唱歌比赛,最后算分的时候总会去掉一个最高分,去掉一个最低分,将剩下的分数进行去平均。这里面就有筛选异常值的思想。一个非常夸张的异常值可能会造成对最后统计结果产生比较大的影响。所以,在这里,我们介绍两种办法来判断异常值,并使用箱线图进行显示。异常值的判断1、使用均值和标准差进行判断mean 为数据的均值std 为数据的...原创 2020-02-17 15:42:10 · 21325 阅读 · 4 评论 -
pandas如何去除重复值
pandas如何去除重复值在我们做数据分析时,我们所要处理的数据中难免会出现重复的数据,有些是我们需要的,有些是我们不需要的,甚至还会影响我们接下来数据分析的准确度。接下来,给大家介绍去除重复值的方法。planets = pd.read_csv('planets.csv')print(planets.head(10))planets.drop_duplicates(subset=['m...原创 2020-02-17 10:16:06 · 28028 阅读 · 2 评论 -
pandas填补缺失值的方法
pandas填补缺失值的方法在处理数据的过程中,经常会遇到原数据部分内容的缺失,为了保证我们最终数据统计结果的正确性,通常我们有两种处理方式,第一种就是删除掉这些部分缺失的数据;第二种就是填补这些缺失的数据。接下来,我们主要介绍填补缺失值的方法。填充法咱们所用到的数据:import pandas as pdimport numpy as npplanets = pd.read_...原创 2020-02-17 09:12:50 · 12443 阅读 · 0 评论 -
pandas去除掉一列数的单位并转换数据类型
背景:咱们使用pandas处理数据时,通常会遇到带有时间单位的数,此时该列数的数据类型为字符串型,如果需要对该列数字进行相关操作,就必须去掉单位,并转换成整型或者浮点型。咱们先读取一段数据来具体看看:pdata = pd.read_csv('exercise.csv')print(pdata.head(10))获取的数如下图:咱们再看一下数据类型:print(pdata.dty...原创 2020-02-15 19:17:52 · 9841 阅读 · 3 评论 -
pandas将数据保存到csv或者xlsx 中的最基本操作
Pandas保存数据到csv和xlsx中pandas提供了非常方便的函数,能够将数据保存到cvs或者xlsx中。import pandas as pdimport numpy as npimport pymysqlfrom sqlalchemy import create_engineimport openpyxlpdata = pd.read_csv('tips.csv')df...原创 2020-02-15 18:50:12 · 35442 阅读 · 4 评论 -
pandas连接数据库,从数据库读取数据,将数据保存到数据库
pandas连接数据库import pymysqlfrom sqlalchemy import create_enginesql = 'select * from data'conn = create_engine('mysql+pymysql://root:159951@127.0.0.1:3306/test')pdata = pd.read_sql(sql,conn)print(...原创 2020-02-15 18:15:20 · 6401 阅读 · 0 评论