如何利用Python进行数据分析_《利用python进行数据分析》

《利用Python进行数据分析》阅读笔记 利用Python进行数据分析》这本书是由Wes McKinney编写的,他是Python pandas项目的创始人。这本书详细介绍了如何使用pandas进行数据分析,以及如何利用Python的其他库,如NumPy和IPython,来处理、清洗和规整数据。Series和statsmodels是Python的一个库,用于拟合多种统计模型,进行统计测试和数据探索。scikit-learn是Python的一个库,支持简单和复杂的机器学习算法。 阅读详情

今天我们主要的目标是:给大家介绍在所有的编程语言里,为什么Python能被广泛使用,甚至排名第一,给那些做数据分析相关工作和转行的小伙伴介绍数据分析行业里如何使用Python。

首先介绍一下什么是编程语言。

编程语言是一个计算机的概念,在我们有了计算机以后,想让它帮助我们做事情,就要通过计算机语言和它进行对话、交互,计算机语言能够被计算机所执行,完成我们需要做的相关任务。

计算机语言有很多种,常见的有C、C++、PHP、Java,以及今天我们要讲的Python等等。

首先C语言主要用于对底层的程序进行编程,C++是在C语言之上发展起来的一个面向对象的语言,被广泛的应用于计算机软件的开发;PHP是做网页用的;Java也是一个面向对象的计算机语言,是在C++之后另一个被广泛应用的语言,可以做网页、后端、安卓开发等等。

而Python虽然出现得晚一些,但是目前使用量已经排名第一,那么Python到底是一种什么样的语言呢?

我们看计算机语言的几个类型,从最早的0和1时代就有一些很简单的计算机语言,随着计算机语言的发展,它有几种不同的类型:

  • Procedural Programming Language
  • Functional Programming Language
  • Object-oriented Programming Language
  • Scripting Programming Language

前两种其实非常老旧了,很少会用到,我们现在常用的是第三和第四种,面向对象的编程语言(比如Java、C++)。

**什么是面向对象编程语言呢?**比如我们要做一个和汽车有关的程序,就把车设置成一个对象,这个对象会有他的属性和功能,它的重量、颜色、马力、电池等等,人类对于这个事物都是这样理解的,所以让计算机语言也用类似的方式去理解。

**面向对象的编程语言有一个优点就是可以反复使用。**任何人都可以用被设计好的算法去训练自己的数据,来得出自己的模型。还有一些多样性、继承等特点,我们以后再讲。

**Python这个语言本身有面向对象的属性,这是它的优点。**Java、C++这种语言需要编译,然后才可以执行,会相对复杂一些。为什么需要编译呢?我们写代码用的是英文,需要一个编译器来转换语言,转换成计算机能够理解的语言,才能进行执行。

而Python是一种文本型语言,它不需要把程序写好、进行编译、再进行执行,写一行就可以执行一行,这样会更方便使用,所以它既有面向对象的优点,又比传统的语言更方便。

既然Python是一个计算机语言,就要用到一个工具叫IDE,它是一个让我们我们用来编辑使用Python语言的工具,那么别的语言需要IDE吗?

都需要。Java需要Java的IDE、C++需要C++的IDE。Python有上图的几个IDE可以使用,作为数据分析来用,我们一般推荐使用Jupyter(可以通过网站直接下载安装,它是开源的)。

Python的执行有很多种方法,除了在IDE里执行,还可以把那些在IDE里写好的程序用Python的命令来执行。

这就是我们使用这个语言时用什么样去编辑、测试、调试以及运行它。后面将会做一个demo看一下在Jupyter Notebook中是如何执行的。

这是Python在TIOBE上的编程语言排名,评估语言是否应用广泛和受欢迎,Python在2022年,2023年第1名。

编程语言包括Java、C、C++、C#,有几大阵营,一个是Lion,它的操作系统是Linux,Web服务器是Apache,语言会用Java、Python,而微软会用另一套,操作系统是Windows,Web服务器是Internet Information System(IIS)。Visual Basic是微软的,JavaScript是Apache开源阵营的语言,而Assembly language是对硬件进行编写的汇编语言,SQL是数据库语言,Swift是iPhone的编程语言。

Python为什么排第一呢?

**首先,好学又好用。**像Java、C++等其他语言需要编译,调试的时候需要开调试环境设置断点,但是Python是一行一行执行的,使用起来比较方便,不需要太多的计算机概念。

其次是Python Community,很多开源软件都是Python写的。

**第三,大量开源的开发者,贡献了很多各种各样的Package和Libraries。**Libraries其实就是一个个特别的功能而实现的一套代码。比如有关于数据处理和网站开发的Libraries,利用面向对象开发的形式,直接调用别人已经开发好的可调用的功能进行数据分析和开发网站。

第四,Python的有效性、可靠性比较好,速度也较快。

**最关键的是Big Data、Machine Learning、Cloud Computing这三点。**在Big Data方面,Hadoop Spark都支持Python语言,Spark大数据系统本身是用Scala写的,但是支持Java、Python。很多Machine Learning像sklearn都支持Python。Cloud Computing,像微软的Azure、谷歌的GCP、AWS都是支持Python的。这也是它为什么这么火的原因。

那么使用Python进行数据分析需要学习什么?

比如Numpy进行数据处理、Pandas进行数据处理和基本数据操作、简单的作图等,复杂的图表可以使用Matplotlib,scikit-learning包括分类、回归、聚类等机器学习算法。

下面做一个Demo,在数据分析中有一个和产品、用户相关的话题,Churn Analysis。

比如你是Amazon online shopping的用户,以前每个星期都买东西,现在一个月也不买,这就是用户流失了。你本来有一个chase的信用卡,发现Capital One返点很不错,然后就不再使用chase了,对于chase来讲就是用户流失了。比如你是数据应用学院读书会的会员,到期后不再续订,也是用户流失。

接下来讲Churn Analysis的Demo。

首先Jupyter Notebook就是IDE,每一个代码都可以像文件一样保存、编辑、视图。在每一个cell中可以写代码并添加注释。之前讲了几个重要的Libraries,numpy、pandas、matplotlib、seaborn等,import是python语言使用之前导入程序并起一个别名,比如import pandas as pd。

df=pd.read_csv(“TelcoCustomerChurn.csv”)

pd提供了一个读取数据的功能read_csv,数据是Telco公司用户流失的数据。

Python的pandas package还提供了非常丰富的文档,DataFrame是存储数据的对象,文档中有参数和例子。Python好学好用是因为有很多例子,文档也相对比较规范。把数据读取进来之后,使用df.info()可以查看一下数据集的基本信息。

它分为几列,第一列是customerID,数据类型object,这个object是说它不是一个简单的数,它可能是字符串这种的,就会把它做成object。这就和面向对象编程联系到一起了,这是一个对象。执行一行代码就把数据放在这里了。

Head这个功能是看看数据长什么样子数据里面都存储哪些东西,每一列都有它自己的功能。

接下来就把读进来的数据用打印的语句看一下有多少行和多少列,有哪些features。

后面就是check missing values,看看数据是否是完整的。df就是dataframe,就是你读进来的数据存在对象里面,describe是说显示它的统计数据,如最大值、最小值、中值、标准差等。

可以看到Python语言提供了很多library,每个library里面有很多function,这些function直接可以让你看到很多有意义的数据。

接下来我们来看一下画图的功能。

比如我们想看一下老年人和用户流失有什么关系,如下图左边NO代表不是老年人,蓝色是保存下来的用户,棕色是流失的用户;右边Yes代表是老年人,虽然用户比较少,但是流失的比例和不是老年人的时候还是有很大的差别。这就让我们很方便地发现一个inset,原来老年人和别的年龄段的人在用户流失这一方面是有差别的。

通过画图可以分析数据里面的特征。

Python语言在数据分析这块儿越来越好用主要包括以下几个方面:

它有大量开源的package,library供大家使用;

它不是很复杂是一种写一行可以执行一行的这种描述性的语言方式,相对简单一些;

它本身跨很多功能,大数据Hadoop,spark能用,数据分析也可以用,甚至可以用于开发网站。

学习资源推荐

除了上述分享,如果你也喜欢编程,想通过学习Python获取更高薪资,这里给大家分享一份Python学习资料。

😝朋友们如果有需要的话,可以V扫描下方二维码联系领取

学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

因篇幅有限,仅展示部分资料,添加上方即可获取
一、Python学习路线

image-20230619144606466

python学习路线图1

二、Python基础学习
1. 开发工具

2. 学习笔记

在这里插入图片描述

3. 学习视频

在这里插入图片描述

三、Python小白必备手册

图片

四、数据分析全套资源

在这里插入图片描述

五、Python面试集锦
1. 面试资料

在这里插入图片描述

在这里插入图片描述

2. 简历模板

在这里插入图片描述

😝朋友们如果有需要的话,可以V扫描下方二维码联系领取

学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

因篇幅有限,仅展示部分资料,添加上方即可获取
《利用python进行数据分析》读书笔记 《利用python进行数据分析》是一本利用python的Numpy、Pandas、Matplotlib库进行数据分析的基础介绍,非常适合初学者。 重要的python库 NumPy http://numpy.org Pandas http://pandas.pydata.org matplotlib http://matplotlib.org IPython 和 Jupyter http://ipython.org http://jupyter.org Scipy http://scipy.org sci 阅读详情

相关推荐

利用Python做数据分析 需要学习哪些知识

根据调查结果,十大最常用的数据工具中有八个来自或利用Python。Python广泛应用于所有数据科学领域,包括数据分析、机器学习、深度学习和数据可视化。不过你知道如何利用Python做数据分析吗?需要学习哪些知识?下面就给大家讲解一下。 与数据分析相关的Python库很多,比如Numpy、pandas、matplotlib、scipy等,数据分析的操作包括数据的导入和导出、数据筛选、数据描述、数据...

Python这样学 2751

8个高效Python数据分析的技巧(附完整代码)

定义某种列表时,写For 循环过于麻烦,幸运的是,Python有一种内置的方法可以在一行代码中解决这个问题。下面是使用For循环创建列表和用一行代码创建列表的对比。

2201_75362610的博客 5701

利用Python对银行进行数据分析

# 导入数据源 import pandas as pd data = pd.read_csv(r'/Users/faye/Desktop/loan.csv') 判断收入与坏账率的关系 # 判断数据是否有缺失 data.info()# 填充月收入缺失值 data = data.fillna({'月收入':data['月收入'].mean()}) # 用均值填充 # 连续值离散化 cut_bi...

luckygirl 6286

如何有效提升数据分析效率?五大Python技巧

如何有效提升数据分析效率?相信这是所有数据分析工作者都想解决的问题。本文整理了五大Python技巧,分别是Pandas Profiling;使用 Cufflinks 和 Plotly 绘制 Pandas 数据;IPython 魔术命令;Jupyter 中的格式编排;Jupyter 快捷键。相信这些技巧能很好地帮助大家提高数据分析的效率,下面赶紧来看看吧!

weixin_67991858的博客 380

利用Python进行NBA比赛数据分析

利用Python进行NBA比赛数据分析

qq_43680030的博客 5721

[CTFSHOW]JWT

文章目录前言JWT简介CTFSHOW Web345CTFSHOW Web346前置知识开始做题CTFSHOW Web347CTFSHOW Web348CTFSHOW Web349CTFSHOW Web350前置知识利用WP如何防御 前言 有些师傅向我咨询WP,索性就发了吧,其实早就写好了,只是懒,在github仓库里囤着 JWT简介 可以看看我的Github总结给自己看的,Y4tacker CTFSHOW Web345 首先打开题目,查看源码,接下来访问/admin被跳转回主页啥也没有发生 where is

Y4tacker的博客 6046

Python进行数据分析探索

1.1 导入相应的包和数据%matplotlib inline #在jupyter里面需要加入此命令显示图import pandas as pd import matplotlib.pyplot as plt from sklearn.linear_model import RANSACRegressor, LinearRegression, TheilSenRegressor from sklea

Pylady的博客 2512

Anaconda详细安装及使用教程(带图文)

Anacond的介绍 Anaconda指的是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。因为包含了大量的科学包,Anaconda的下载文件比较大(约531 MB),如果只需要某些包,或者需要节省带宽或存储空间,也可以使用Miniconda这个较小的发行版(仅包含conda和Python)。 Conda是一个开源的包、环境管理器,可以用于...

代码帮 186万+

利用python进行数据分析

如果之前Anaconda3加入到环境变量,就可以直接启动。我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

Python栈_基的博客 2522

IAR9.20.4安装与注册全攻略:附资源及典型问题解决方案

本文提供IAR9.20.4的详细安装与注册指南,涵盖环境准备、安装步骤、权限设置及注册机使用技巧。针对典型问题如评估版残留、权限不足和杀毒软件拦截等,给出了具体解决方案,帮助用户顺利完成IAR开发环境的搭建与激活。

a2b3c4d5e的博客 298

网络系统实现技术之IPX与SPX

IPX/SPXNovell NetWare网络Novell公司为适应网络发展,将主机网络转换为PC网络,开发了Novell NetWare网络系统。该系统中基于客户机/服务器模式。以普通PC机做为客户机,以性能强大的服务器做为服务器,为客户机提供文件服务、数据库服务及其他服务。与前面的SNA模型一样,Novell NetWare也早于OSI模型,所以不能与OSI模型严格对应,但也有很明

成片的大树 9164

利用python进行数据分析论文_《利用Python进行数据分析》读后感10篇

《利用Python进行数据分析》是一本由Wes McKinney著作,机械工业出版社出版的平装图书,本书定价:89.00,页数:464,特精心从网络上整理的一些读者的读后感,希望对大家能有帮助。《利用Python进行数据分析》读后感(一):搭个数据分析的框架读完后,知道了数据分析那些流程,具体的python实现方式。这本书主要介绍了numpy和pandas模块,逻辑挺清晰的,实操性应该挺强。不过啊...

weixin_39971172的博客 1226

保姆级教程:用Python+NumPy手把手模拟光学散射与记忆效应(附代码)

本文提供了一份详细的Python+NumPy教程,手把手教你模拟光学散射与记忆效应。从基础光波建模到散射介质实现,再到菲涅尔衍射和光学记忆效应验证,逐步构建完整的仿真系统。通过附带的代码示例,读者可以快速掌握计算光学仿真的核心技术,为医学成像、物理仿真等领域的研究提供实用工具。

weixin_30172941的博客 325

Leo赠书活动-11期 【利用Python进行数据分析】文末送书

Python语言极具吸引力。自从 1991 年诞生以来,Python 如今已经成为最受欢迎的解释型编程语言。pandas诞生于2008年。它是由韦斯·迈金尼(Wes McKinney)于2008年开始开发的,最初的目标是为了解决金融数据分析中的一些实际问题。pandas于2009年作为开源项目发布,并逐渐在数据科学和数据分析领域获得了广泛的应用和认可。如果你想学习如何使用Python进行数据分析,那么这本**《利用Python进行数据分析》**是必不可少的一本书。

分享思想,留下痕迹。 15万+

SC-FDMA

<br />SC-FDMA(Single-carrier Frequency-Division Multiple Access,單載波分頻多工),是LTE的上行鏈路的主流多址。<br />SC-FDMA是單波載(Single-carrier),與OFDMA相比之下具有的較低的PAPR(峰值/平均功率比,peak-to-average power ratio),比多載波的PAPR低1-3dB左右(PAPR是由于多載波在频域叠加引起)。更低的PAPR可以使行動終端(mobile terminal)在發送功效方面

jod的专栏 3300

GEE:基于MODIS数据计算NDVI时间序列,并使用Savatsky-Golay(SG)滤波器对其进行平滑处理

优快云@_养乐多_本文将介绍如何在 Google Earth Engine (GEE) 平台中,使用 MODIS 数据计算 NDVI 时间序列,并对该数据集应用 Savitzky-Golay 滤波器,得到了一个新的平滑后的数据集。Savitzky-Golay 滤波器可以有效地去除信号中的噪声,并平滑信号的变化。该方法可以扩展到基于 MODIS 数据计算的任何指数或者波段。

养乐多的博客 1428

鱼哥赠书活动第④期:从0到1Python进阶《利用Python进行数据分析》让你学完成为Python大神!!

作者:Wes McKinney是Voltron Data的联合创始人兼首席技术官、Python数据社区的活跃成员,同时也是在数据分析、金融和统计计算等领域推广使用Python的倡导者。Wes毕业于麻省理工学院,同时也是Apache软件基金会的Apache Arrow和Apache Parquet项目的项目管理委员会成员。译者:陈松,清华大学技术经济研究所副研究员,技术经济大数据实验室技术负责人,参与多项省部级、地区性课题研究。

2401_84281594的博客 153

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

利用Python进行数据分析 中文第二版

利用Python进行数据分析 中文第二版 去发现同类优质开源项目:https://gitcode.com/ 概述 本资源文件是专为那些希望深入学习并应用Python在数据分析领域的朋友们准备的。《利用Python进行数据分析》中文第二版是一份详尽的指南,它全面覆盖了从数据获取、清洗、分析到可视化的核心流程。本书不仅适合数据分析的初学者,也对已具有一定基础但希望建立更扎实理论与实践能力的进阶者大有裨...

gitblog_06502的博客 732

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

利用Python进行数据分析(十四) - 几个案例

注:本文根据《利用Python进行数据分析》总结而来,内容版权归原作者所有。

方糖 1105

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

Python教父手把手教你《利用Python进行数据分析》

利用Python进行数据分析》适合刚刚接触Python的分析人员以及刚刚接触科学计算的Python程序员。将IPython这个交互式Shell作为你的首要开发环境。以及静态或交互式的可视化结果;利用pandas的groupby功能对数据集进行切片、切块和汇总操作;处理各种各样的时间序列数据。从pandas库的数据分析工具开始利用高性能工具对数据进行加载、清理、转换、合并以及重塑;利用matpIotlib创建。

Python_keli的博客 558

python进行数据分析 kindle_利用Python进行数据分析

【名人推荐】“科学计算和数据分析社区已经等待这本书很多年了:大量具体的实践建议,以及大量综合应用方法。本书在未来几年里肯定会成为Python领域中技术计算的权威指南。”——Fernando Pérez 加州大学伯克利分校 研究科学家, IPython的创始人之一【内容简介】还在苦苦寻觅用Python控制、处理、整理、分析结构化数据的完整课程?本书含有大量的实践案例,你将学会如何利用各种Python...

weixin_39746229的博客 145

利用python进行数据分析_如何学习《利用python进行数据分析》这本书?

这本书几乎是数据分析入门必读书了。主要介绍了python3个库numpy(数组),pandas(数据分析)和matplotlib(绘图)的学习。光看书不仅孤独,还有时候看不懂,因为这本书更多的是一些功能语法的介绍,缺少实践的案例操作,所以这本书结合这几个live一起学习效果会事半功倍:1)对应这本书《第2-3章Python基础知识》:零基础掌握人工智能(AI)核心语言:Python​www.zhi...

weixin_39837139的博客 133

利用Python进行数据分析网页版

http://www.cnblogs.com/batteryhp/tag/python/

致我那些年搬过的砖 1624
上一篇: python数据分析常用图大集合
下一篇: Python兼职有哪些?最适合学生党的Python兼职攻略以及接私活经验
大模型应用场景
博客等级 码龄5年 7677粉丝 1350原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值