wuzlun的专栏

在很多应用中，数据通常散落在不同的文件或数据库中，并不方便进行分析。数据加工就是对这些数据的统一。join：连接combine：合并reshape：整形merge：归并concatenate：串联pivot：旋转stack：堆叠import pandas as pdimport numpy as np合并数据集pandas里有几种方法可以合并数据：...

跟着教程学习了一段时间数据分析，越学感觉坑越多。于是花了一个星期仔细看了下《利用Python进行数据分析》。写在这里主要是记录下，方便自己查看。scikit-learn简介scikit-learn是一个被广泛使用的python机器学习工具包。里面包含了很多监督式学习和非监督式学习的模型，可以实现分类，聚类，预测等任务。虽然scikit-learn并没有和pandas深度整合，但在训练模...

跟着教程学习了一段时间数据分析，越学感觉坑越多。于是花了一个星期仔细看了下《利用Python进行数据分析》。写在这里主要是记录下，方便自己查看。statsmodels简介statsmodels是一个有很多统计模型的python库，能完成很多统计测试，数据探索以及可视化。它也包含一些经典的统计方法，比如贝叶斯方法和一个机器学习的模型。statsmodels中的模型包括：...

跟着教程学习了一段时间数据分析，越学感觉坑越多。于是花了一个星期仔细看了下《利用Python进行数据分析》。写在这里主要是记录下，方便自己查看。import numpy as npimport pandas as pdimport patsy# 利用Patsy创建模型描述Patsy是一个python库，用于描述统计模型（尤其是线性模型），方法是通过一个叫做公式语法（...

Moving Window Functions（移动窗口函数）一种用于时间序列操作的重要用法，是使用滑窗（sliding windown）或呈指数降低的权重（exponentially decaying weights），来对时间序列进行统计值计算和其他一些函数计算。 这个对于消除噪声或有缺陷的数据是很有用的。这里我们称之为Moving Window Functions（移动窗口函数），不过其...

时区处理时区可以理解为UTC的偏移（offset），例如，在夏令时，纽约时间落后于UTC时间四个小时，而在一年的其他时间里，纽约时间落后于UTC时间五个小时。在python中，时区信息来自第三方的pytz库，这个库利用的是奥尔森数据库，这个数据库汇集了世界时区信息。这个信息对于历史数据很重要，因为夏令时（daylight saving time，DST）的交接日（transition da...

时间序列指能在任何能在时间上观测到的数据。很多时间序列是有固定频率（fixed frequency）的，意思是数据点会遵照某种规律定期出现，比如每15秒，每5分钟，或每个月。时间序列也可能是不规律的（irregular），没有一个固定的时间规律。如何参照时间序列数据取决于我们要做什么样的应用，我们可能会遇到下面这些：Timestamps（时间戳），具体的某一个时刻Fixed periods...

%matplotlib inlineimport matplotlib.pyplot as pltimport numpy as npimport pandas as pd# 数据汇总和组操作### 1、GroupBy Mechanics（分组机制）Hadley Wickham，是很多R语言有名库的作者，他描述group operation(组操作)为s...

最近学习了点统计学及python知识，试着分析下掷骰子游戏。骰子按标准6面，分析一次投1颗、2颗、3颗、4颗，投掷10、100、1000、10000次时的结果。 使用工具 Jupyter Notebook 分析利器 matplotlib、pygal 可视化包1、猜次数1－6中每个数字出现的次数# 导入包import pygalimport numpy a...

在pandas中，missing data呈现的方式有些缺点的，但对大部分用户能起到足够的效果。对于数值型数据，pandas用浮点值Nan(Not a Number)来表示缺失值。我们称之为识别符（sentinel value)，这种值能被轻易检测到数据缺失在pandas中，我们使用了R语言中的一些传统，把缺失值表示为NA（not available）。在统计应用里，NA数据...

Pandas方法1、读取文件pandas有很多用来读取表格式数据作为dataframe的函数，下面列出来一些。其中read_csv和read_tabel是最经常用到的：import pandas as pdimport numpy as np# read_csv方法df = pd.read_csv('../examples/ex1.csv')df...

import pandas as pdfrom pandas import Series, DataFrameimport numpy as npSeries基础obj = pd.Series([4, 7, -5, 3], index=['d', 'b', 'a', 'c'])obj d 4 b 7 a -5 c...

跟着教程学习了一段时间数据分析，越学感觉坑越多。于是花了一个星期仔细看了下《利用Python进行数据分析》。写在这里主要是记录下，方便自己查看。import matplotlib.pyplot as pltimport numpy as np创建n维数组1、使用array函数最简单的方法使用array函数，输入一个序列即可，比如list# 随机生成数据data = ...

上篇中我们用常规方法分析了泰坦尼克号事件中乘客的生存情况，最后得出结论，已知某人的资料并不能判断他或她是生存或死亡。上篇链接：https://blog.youkuaiyun.com/wuzlun/article/details/80189766那么接下来我们用机器学习的方法来分析。# 再次导入本次用到的工具# 使用该魔法，不用写plt.show()%matplotlib inline ...

学习数据分析也有段时间了，都只是使用一些简单图表来分析数据，本周将开启全新的学习旅程：机器学习(^_^偷笑)。本次通过Kaggle所举办的泰坦尼克挑战赛 来机器学习分析并预测某一乘客的生存或死亡。Kaggle提供两部分数据，训练数据(train.csv)和测试数据(test.csv)，我们通过对训练数据分析，构建一个模型，并用这个模型来加载预测数据，分析test.csv表中乘客生存或死亡。最后...

感谢ButtersPC提供的数据集。本文旨在学习数据分析的基本过程，文中敏感数据均已隐藏。本文通过一些基本描述统计，如考生人数、科目分数及平均分、考试排名，文科理科等因素，尽可能地探求数据集中包含的有价值的信息，来预测高考成绩。导读：>1、数据集选用“某年上海某区高考二模成绩”2、上海过去几年的高考制度采用“3+1+1”的模式，语数英 + 加一学科 + 综合，加一学科指在物理、化学...

学习使用python来分析股票，主要事涉及数据获取、数据可视化，以及探究数据中各项指标的含义及和关系。使用工具 pandas、numpy、datatime pandas-datareader 在线获取股票数据 matplotlib 数据可视化 Jupyter Notebook 数据分析利器#一、数据获取# 导入包impo...