第十四周作业

最新推荐文章于 2022-08-07 16:34:52 发布
最新推荐文章于 2022-08-07 16:34:52 发布
阅读量551 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 高级编程技术作业
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Angry_Bird16/article/details/81038433
本文探讨了Anscombe's quartet中的四个数据集，分别计算了每个数据集中x和y的平均值、方差及相关系数，并利用statsmodels进行了线性回归分析。此外，还使用Seaborn的FacetGrid和plt.scatter进行可视化展示。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

%matplotlib inline

import random

import numpy as np
import scipy as sp
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

import statsmodels.api as sm
import statsmodels.formula.api as smf

sns.set_context("talk")

Anscombe's quartet

Anscombe's quartet comprises of four datasets, and is rather famous. Why? You'll find out in this exercise.

In [4]: 
anascombe = pd.read_csv('data/anscombe.csv')
anascombe.head()
Out[4]:
 datasetxy
0I108.04
1I86.95
2I137.58
3I98.81
4I118.33

Part 1

For each of the four datasets...

  • Compute the mean and variance of both x and y
  • Compute the correlation coefficient between x and y
  • Compute the linear regression line: y=β0+β1x+ϵy=β0+β1x+ϵ (hint: use statsmodels and look at the Statsmodels notebook)

# print(anascombe)
x_mean=anascombe.groupby('dataset')['x'].mean()
y_mean=anascombe.groupby('dataset')['y'].mean()
print('x_mean:',x_mean)
print('y_mean:',y_mean)
 
x_var=anascombe.groupby('dataset')['x'].var()
y_var=anascombe.groupby('dataset')['y'].var()
print('x_variance:',x_var)
print('y_variance:',y_var)
 
corr_mat=anascombe.groupby('dataset').corr()
# print(corr_mat)
print('correlation coefficient:')
print('I:',corr_mat['x']['I']['y'])
print('II:',corr_mat['x']['II']['y'])
print('III:',corr_mat['x']['III']['y'])
print('IV:',corr_mat['x']['IV']['y'])
 
data_group=anascombe.groupby('dataset')
indices=data_group.indices
print('the linear regression:')
for key in indices:
    group=data_group.get_group(key)
    n = len(group)
    is_train = np.random.rand(n)>-np.inf
    train = group[is_train].reset_index(drop=True)
    lin_model = smf.ols('y ~ x', train).fit()
    print('dataset '+str(key)+':')

运行结果：

x_mean: dataset
I      9.0
II     9.0
III    9.0
IV     9.0
Name: x, dtype: float64
y_mean: dataset
I      7.500909
II     7.500909
III    7.500000
IV     7.500909
Name: y, dtype: float64
x_variance: dataset
I      11.0
II     11.0
III    11.0
IV     11.0
Name: x, dtype: float64
y_variance: dataset
I      4.127269
II     4.127629
III    4.122620
IV     4.123249
Name: y, dtype: float64
correlation coefficient:
I: 0.816420516345
II: 0.816236506
III: 0.81628673949
IV: 0.816521436889
the linear regression:
dataset I:
                            OLS Regression Results                            
==============================================================================
Dep. Variable:                      y   R-squared:                       0.667
Model:                            OLS   Adj. R-squared:                  0.629
Method:                 Least Squares   F-statistic:                     17.99
Date:                Thu, 07 Jun 2018   Prob (F-statistic):            0.00217
Time:                        12:36:23   Log-Likelihood:                -16.841
No. Observations:                  11   AIC:                             37.68
Df Residuals:                       9   BIC:                             38.48
Df Model:                           1                                         
Covariance Type:            nonrobust                                         
==============================================================================
                 coef    std err          t      P>|t|      [0.025      0.975]
------------------------------------------------------------------------------
Intercept      3.0001      1.125      2.667      0.026       0.456       5.544
x              0.5001      0.118      4.241      0.002       0.233       0.767
==============================================================================
Omnibus:                        0.082   Durbin-Watson:                   3.212
Prob(Omnibus):                  0.960   Jarque-Bera (JB):                0.289
Skew:                          -0.122   Prob(JB):                        0.865
Kurtosis:                       2.244   Cond. No.                         29.1
==============================================================================
 
Warnings:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.
dataset II:
                            OLS Regression Results                            
==============================================================================
Dep. Variable:                      y   R-squared:                       0.666
Model:                            OLS   Adj. R-squared:                  0.629
Method:                 Least Squares   F-statistic:                     17.97
Date:                Thu, 07 Jun 2018   Prob (F-statistic):            0.00218
Time:                        12:36:23   Log-Likelihood:                -16.846
No. Observations:                  11   AIC:                             37.69
Df Residuals:                       9   BIC:                             38.49
Df Model:                           1                                         
Covariance Type:            nonrobust                                         
==============================================================================
                 coef    std err          t      P>|t|      [0.025      0.975]
------------------------------------------------------------------------------
Intercept      3.0009      1.125      2.667      0.026       0.455       5.547
x              0.5000      0.118      4.239      0.002       0.233       0.767
==============================================================================
Omnibus:                        1.594   Durbin-Watson:                   2.188
Prob(Omnibus):                  0.451   Jarque-Bera (JB):                1.108
Skew:                          -0.567   Prob(JB):                        0.575
Kurtosis:                       1.936   Cond. No.                         29.1
==============================================================================
 
Warnings:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.
dataset III:
                            OLS Regression Results                            
==============================================================================
Dep. Variable:                      y   R-squared:                       0.666
Model:                            OLS   Adj. R-squared:                  0.629
Method:                 Least Squares   F-statistic:                     17.97
Date:                Thu, 07 Jun 2018   Prob (F-statistic):            0.00218
Time:                        12:36:23   Log-Likelihood:                -16.838
No. Observations:                  11   AIC:                             37.68
Df Residuals:                       9   BIC:                             38.47
Df Model:                           1                                         
Covariance Type:            nonrobust                                         
==============================================================================
                 coef    std err          t      P>|t|      [0.025      0.975]
------------------------------------------------------------------------------
Intercept      3.0025      1.124      2.670      0.026       0.459       5.546
x              0.4997      0.118      4.239      0.002       0.233       0.766
==============================================================================
Omnibus:                       19.540   Durbin-Watson:                   2.144
Prob(Omnibus):                  0.000   Jarque-Bera (JB):               13.478
Skew:                           2.041   Prob(JB):                      0.00118
Kurtosis:                       6.571   Cond. No.                         29.1
==============================================================================
 
Warnings:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.
dataset IV:
                            OLS Regression Results                            
==============================================================================
Dep. Variable:                      y   R-squared:                       0.667
Model:                            OLS   Adj. R-squared:                  0.630
Method:                 Least Squares   F-statistic:                     18.00
Date:                Thu, 07 Jun 2018   Prob (F-statistic):            0.00216
Time:                        12:36:23   Log-Likelihood:                -16.833
No. Observations:                  11   AIC:                             37.67
Df Residuals:                       9   BIC:                             38.46
Df Model:                           1                                         
Covariance Type:            nonrobust                                         
==============================================================================
                 coef    std err          t      P>|t|      [0.025      0.975]
------------------------------------------------------------------------------
Intercept      3.0017      1.124      2.671      0.026       0.459       5.544
x              0.4999      0.118      4.243      0.002       0.233       0.766
==============================================================================
Omnibus:                        0.555   Durbin-Watson:                   1.662
Prob(Omnibus):                  0.758   Jarque-Bera (JB):                0.524
Skew:                           0.010   Prob(JB):                        0.769
Kurtosis:                       1.931   Cond. No.                         29.1
==============================================================================
 
Warnings:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.


Part 2

Using Seaborn, visualize all four datasets.

hint: use sns.FacetGrid combined with plt.scatter

sns.set(style='whitegrid') 
g = sns.FacetGrid(anscombe, col="dataset", hue="dataset", size=3)  
g.map(plt.scatter, 'x', 'y')  
plt.show()
运行结果：

【Python计量】异方差性的检验
mfsdmlove的博客
04-22 9404
异方差性的检验
学习记录2-多元线性回归模型（附上python代码)
m0_67042480的博客
11-11 5433
多元线性回归python，研究货运总量 y （万吨）与工业总产值 x1（亿元）、农业总产值 x2（亿元）,居民非商品支出 X3（亿元）的关系。数据见表3-9。
Python数模笔记-StatsModels 统计回归（2）线性回归
youcans的博客
05-06 1万+
1、背景知识 1.1 插值、拟合、回归和预测 插值、拟合、回归和预测，都是数学建模中经常提到的概念，而且经常会被混为一谈。 插值，是在离散数据的基础上补插连续函数，使得这条连续曲线通过全部给定的离散数据点。 插值是离散函数逼近的重要方法，利用它可通过函数在有限个点处的取值状况，估算出函数在其他点处的近似值。 拟合，是用一个连续函数（曲线）靠近给定的离散数据，使其与给定的数据相吻合。 因此，插值和拟合都是根据已知数据点求变化规律和特征相似的近似曲线的过程，但是插值要求近似曲线完全经过给定的数据点，而拟合只
完美解决共线性数据的问题
weixin_48697939的博客
12-23 1326
import numpy as np import pandas as pd import matplotlib.pyplot as plt import statsmodels.api as sm import statsmodels.stats.outliers_influence from statsmodels.stats.outliers_influence import variance_inflation_factor Ols data=pd.read_csv("C:/Users/可乐
Python学习笔记-StatsModels 统计回归（2）线性回归
weixin_48967543的博客
05-06 1818
1、背景知识领券 www.cps3.cn 1.1 插值、拟合、回归和预测 　　插值、拟合、回归和预测，都是数学建模中经常提到的概念，而且经常会被混为一谈。 插值，是在离散数据的基础上补插连续函数，使得这条连续曲线通过全部给定的离散数据点。 插值是离散函数逼近的重要方法，利用它可通过函数在有限个点处的取值状况，估算出函数在其他点处的近似值。 拟合，是用一个连续函数（曲线）靠近给定的离散数据，使其与给定的数据相吻合。 　　因此，插值和拟合都是根据已知数据点求变化规律和特征相似的近似曲线的过程，但是插值要求近似.
Flash游戏开发第14周作业9.zip
最新发布
04-19
在本压缩包“Flash游戏开发第14周作业9.zip”中，我们可以推测这是一份与Flash游戏开发相关的学习资料，可能包含学生的作业项目、源代码、指导文档等。Flash是一款曾经广泛应用于网页游戏和动画制作的软件，尽管现在...
第14周作业---相似与二次型---答案1
08-04
本篇文章将围绕第14周作业中的相关问题展开，探讨在解决这些问题过程中所需掌握的核心概念和方法。 首先，对于任何线性代数问题，矩阵的对角化过程都是关键步骤之一。矩阵对角化不仅能够简化矩阵的运算，更有利于...
第十四周作业——刘子君 2020012371(1).pdf
05-25
第十四周作业——刘子君 2020012371(1).pdf
630707741_17_概率统计2014秋第14周作业1
08-03
【概率统计作业解析】 1. **正态分布的假设检验与区间估计的对偶关系**： 当总体服从正态分布N(μ, σ^2)，且参数μ和σ未知时，我们可以用样本均值X̄来估计μ。对于单侧假设检验，例如我们想检验H₀: μ ≤ μ₀...
利用scipy, seaborn 做假设检验，回归分析
Reach Higher
01-15 6223
利用scipy, seaborn 做假设检验，回归分析 转载自：https://www.kancloud.cn/wizardforcel/scipy-lecture-notes/129877 In [1]: %matplotlib inline import numpy as np 作者 : Gaël Varoquaux 必要条件 标准Python科学计算环境
机器学习之多元线性回归
若云流风的专栏
04-15 1574
零、模型0.1、模型介绍y = b0 + b1X1+B2X2+BnXn0.2、限定条件1.线性、2.同方差性、3.多元正太分布、4.误差独立、5.无多重共线性0.3 模型的建立方法1.全部选取 ：反向淘汰的第一步、必须全部选取的时候、先验知识2.反向淘汰 ：自变量对于P值的影响， 计算每个自变量的P值，进行与自定义SL值比较。3.顺向选择 ：每个变量是否能够进入模型，4.双向淘汰 ： 选择两个显著...
Python金融系列第五篇：多元线性回归和残差分析
CoderPai的博客
10-09 3万+
作者：chen_h 微信号 & QQ：862251340 微信公众号：coderpai 第一篇：计算股票回报率，均值和方差 第二篇：简单线性回归 第三篇：随机变量和分布 第四篇：置信区间和假设检验 第五篇：多元线性回归和残差分析 第六篇：现代投资组合理论 第七篇：市场风险 第八篇：Fama-French 多因子模型 介绍 在前某章中，我们介绍了简单的线性回归，它只有一个自变量。在本章中...
python数据统计分析
热门推荐
谢彦的技术博客
02-17 8万+
1. 常用函数库   scipy包中的stats模块和statsmodels包是python常用的数据分析工具，scipy.stats以前有一个models子模块，后来被移除了。这个模块被重写并成为了现在独立的statsmodels包。  scipy的stats包含一些比较基本的工具，比如：t检验，正态性检验，卡方检验之类，statsmodels提供了更为系统的统计模型，包括线性模型，时序分析...
python笔记：7.3 协方差分析_参数估计及预测（分析各种因素对笔记本销售额的影响）
追
07-09 1201
# -*- coding: utf-8 -*- """ Created on Tue Jul 9 15:41:44 2019 @author: User """ # 《Python数据分析基础》中国统计出版社 import numpy as np from scipy import stats import pandas as pd import statsmodels.api as s...
常用统计学回归模型应用场景与python实现方法
TiffanyRabbit的博客
05-09 7173
在信息管理、数据科学或fintech等研究中，有时会遇到统计学回归模型，那么这些基本统计回归模型的使用场景是什么？该如何用python快捷的实现统计回归呢？
python求不确定度_用python求线性回归中的不确定性值
weixin_39863759的博客
12-05 1069
import statsmodels.api as smimport numpy as npy=[];x=[]for item in arr:x.append(item[0])y.append(item[1])# include constant in ols models, which is not done by defaultx = sm.add_constant(x)model = sm....
【Python计量】多重共线性的检验和解决
mfsdmlove的博客
08-07 1万+
我们以伍德里奇《计量经济学导论：现代方法》的“第4章 多元回归分析：推断”的案例4.1为例，利用WAGE1中526个工人的观测数据，研究其工资和受教育程度、工作经验和任职时长的关系。
Python + pygame 写愤怒的小鸟
caolezuishuai的博客
03-20 2239
大家好，今天我给大家带来的是愤怒的小鸟，还是老规矩闲话不多说上代码 (～￣▽￣)～ 戳我 它有很多代码分支，这里晒主要的吧 __author__ = 'marble_xu' DEBUG = False START_LEVEL_NUM = 1 SCREEN_HEIGHT = 650 SCREEN_WIDTH = 1200 SCREEN_SIZE = (SCREEN_WIDT...
比萨斜塔——统计显著性检验
I'm zm
04-26 3685
Dataset 比萨斜塔是意大利最大的旅游景点之一。几百年来这座塔慢慢靠向一边,最终达到5.5度的倾斜角度，在顶端水平偏离了近3米。年度数据pisa.csv文件记录了从1975年到1987年测量塔的倾斜，其中lean代表了偏离的角度。在这个任务,我们将尝试使用线性回归来估计倾斜率以及解释其系数和统计数据。 # 读取数据 import pandas import matplotlib.pyplot
Masoud Bagherian的第14周作业分析
1. **个人作业提交**: “hw14”很可能代表“homework 14”，即这是某位名叫Masoud Bagherian的学生提交的第14次作业。"maktab45"可能是课程或者作业集的名称，表明作业与该课程或作业集相关。这可以体现学生作业提交...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值