数据分析与建模技术实战解析

1、使用Python从数据文件PLACE.csv中进行有放回或无放回的随机抽样。编写一个函数，计算样本值中x - dev和y - dev之间的样本相关性。执行此函数100次，并绘制样本相关性的直方图。

以下是实现该任务的Python代码示例：

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# 读取数据文件
file_path = 'PLACE.csv'
data = pd.read_csv(file_path)

# 定义计算样本相关性的函数
def calculate_correlation(sample):
    x_dev = sample['x-dev']
    y_dev = sample['y-dev']
    correlation = np.corrcoef(x_dev, y_dev)[0, 1]
    return correlation

# 初始化存储相关性的列表
correlations = []

# 执行函数100次
for _ in range(100):
    # 这里以有放回抽样为例，若要无放回抽样，将replace=True改为replace=False
    sample = data.sample(frac=1, replace=True)
    correlation = calculate_correlation(sample)
    correlations.append(correlation)

# 绘制直方图
plt.hist(correlations, bins=20, edgecolor='black')
plt.title('Histogram of Sample Correlations')
plt.xlabel('Sample Correlation')
plt.ylabel('Frequency')
plt.show()

代码说明：

1. 读取数据 ：使用 pandas 库的 read_csv 函数读取 PLACE.csv 文件。
2. 定义函数 ： calculate_correlation 函数接受一个样本数据框作为输入，提取 x-dev 和 y-dev 列，并使用 numpy 的 corrcoef 函数计算它们之间的相关性。
3. 循环执行 ：使用 for 循环执行函数100次，每次从数据中进行有放回抽样（可根据需要改为无放回抽样），计算相关性并存储在 correlations 列表中。
4. 绘制直方图 ：使用 matplotlib 库的 hist 函数绘制样本相关性的直方图。

2、使用Python从数据文件PLACE.csv中进行分层随机抽样。假设数据中有三个层，将500个观测值按比例分配到这三个层对应的样本中。估计总体均值（x - dev）。重复此操作100次，并估计估计值的标准误差。将估计的标准误差与精确的标准误差进行比较。

以下是实现该功能的Python代码示例：

import pandas as pd
import numpy as np
from scipy.stats import sem

# 加载数据
place = pd.read_csv('PLACE.csv')

# 假设数据中存在分层变量，这里需要根据实际情况修改分层变量名
# 示例中假设分层变量名为'strata'
strata = place['strata']
xDev = place['xDev']

# 计算每层的样本数量
strata_counts = strata.value_counts()
total_count = len(place)

# 按比例分配500个观测值到每层
sample_sizes = (strata_counts / total_count * 500).astype(int)

# 初始化存储每次估计的总体均值的列表
estimates = []

# 重复100次
for _ in range(100):
    stratified_samples = []
    for stratum, size in sample_sizes.items():