每天一kernel：偏度和峰度

最新推荐文章于 2024-11-05 17:18:40 发布
原创 最新推荐文章于 2024-11-05 17:18:40 发布 · 185 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文分享了一次参加波士顿房价预测竞赛的经历，通过分析Kaggle入门项目，指出模型仅使用相关系数前十的特征及未进行one-hot编码的问题。强调了持续学习的重要性，并表达了对提升Python编程与机器学习理解的期望。

在这里插入图片描述
在这里插入图片描述

竞赛：波士顿房价预测
学习kernel：房价预测kaggle入门项目
https://www.kaggle.com/dgi1995/kaggle?scriptVersionId=29957072
提交结果：0.30，这个成绩一般般，主要是这个kernel没有对一些不是数值的类型进行one-hot编码，而且选择特征只用了corr相关系数前十，没有细致的探究。

今天的感想：要学习一个东西，就要花时间去慢慢学习，不要指望一步登天。今天看到一个博客讲一位大佬拿了kaggle一金2银，结果一看注册时间3年，想想自己也注册了kaggle两年了，啥都没得到，虽然有一颗比赛的心，但是由于编程能力和对机器学习原理的理解不深，导致一直没有动手，虽然自己现在对Python和深度学习有更熟练一些的掌握，希望自己可以不断的投入自己喜欢的事情上去，就像刷题一样，慢慢练上去，语言总会更加熟悉的，各种流程也会更熟练的，功不唐捐，成功不必在我！！

偏度与峰度
weixin_30552811的博客
03-06 1791
文章转载自：http://bbs.pinggu.org/thread-3417092-1-1.html 偏度这一指标，又称偏斜系数、偏态系数，是用来帮助判断数据序列的分布规律性的指标。 在数据序列呈对称分布（正态分布）的状态下，其均值、中位数和众数重合。且在这三个数的两侧，其它所有的数据完全以对称的方式左右分布。 如果数据序列的分布不对称，...
偏度(skewness)和峰度(kurtosis）
热门推荐
昆兰.沃斯 的博客
03-19 14万+
偏度 偏度（skewness），是统计数据分布偏斜方向和程度的度量，是统计数据分布非对称程度的数字特征。定义上偏度是样本的三阶标准化矩。 偏度定义中包括正态分布（偏度=0），右偏分布（也叫正偏分布，其偏度>0），左偏分布（也叫负偏分布，其偏度<0）。 Python代码实现方法： pandas的Series 数据结构可以直接调用skew()方法来查看 df.iloc[...
偏度和峰度
eerywh的博客
03-03 1万+
偏度和峰度 偏度（skewness） 数据分布的的不对称性称为偏态。偏态是指数据分布的偏斜方向和程度。偏度，通常分为右偏（正偏）和左偏（负偏）两种。它们是以对称分布为标准相比较而言的。 在对称分布的情况下，平均数、中位数和众数是合而为一的。 在偏态分布的情况下，平均数、中位数与众数是分离的。如果众数在左边，平均数在右边，即数据的极端值在右边，数据分布曲线向右延伸，则称为右向偏态。右向偏态，众数的数值较小，平均数的数值较大，平均数与众数之差为正值，因此右向偏态又称为正向偏态。 如果众数在右边，平均数在左边，
matlab 偏度和峰度计算
03-27
MATLAB 提供了内置函数来计算偏度和峰度： - **偏度**: 使用 `skewness(data)` 来计算给定数据的偏度。 - **峰度**: 使用 `kurtosis(data)` 来计算给定数据的峰度。 以下是具体的实现方法以及示例代码： ```...
【图像统计特征深度剖析】：均值、方差、偏度与峰度在图像分析中的应用揭秘
[【图像统计特征深度剖析】：均值、方差、偏度与峰度在图像分析中的应用揭秘](https://img-blog.csdnimg.cn/41889242fa264830a60e44dfb72ddaeb.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,...
思路：神经网络可以作为带宽选择的替代方法，通过训练一个神经网络模型来预测给定数据集的最优带宽。训练数据：生成多个不同分布的合成数据集，对于每个数据集，使用如交叉验证计算其最优带宽作为标签。模型设计：输入为数据集的统计特征（如样本量、标准差、偏度、峰度、IQR等），输出为最优带宽。预测：对于新数据集，提取相同的统计特征，输入训练好的神经网络即可得到预测的最优带宽。这个代码是根据这个思路的完整的代码吗
11-07
为每个数据集计算一组统计特征（如样本量、均值、方差、偏度、峰度、四分位距等） 4. 构建一个神经网络模型，输入为数据集的统计特征，输出为最优带宽 5. 训练模型 6. 对于新数据集，提取相同的统计特征，用训练...
一、创建（读取）和访问数据对象 1、创建四个向量 a=(175,188,165,166),b=(man,man,woman,woman),c=(TRUE,TRUE,FALSE,TRUE),d=(1,2,3,4) 创建一个数据库A，用向量a，b，c，d创建，域名分别为：“high”“sex”“pass”“Number” 访问域名为high的域，显示前三行 2、将工作目录改为D:R（自己在D盘创建R文件夹并将“淘宝成交指数.txt”放入该文件夹） 读取“淘宝成交指数.txt”数据为数据框M，并将第一行作为域名 （1） 显示前几行（可以自己设定行数） （2） 访问域名“nanzhuang”的数据 二、产生100个标准正态随机数记为向量u 1、均值、标准差、中位数，偏度系数，峰度系数 2、对向量u进行标准化 3、0.25,0.75分位数 三、对上题读取的数据框M中的数据进行如下操作 利用数据中域名为“nanzhuang”的数据 1、 绘制箱线图，小提琴图， 2、 绘制直方图，核密度图 3、绘制绘制克利夫兰点图 用R语言解决
最新发布
11-13
需要安装 `e1071` 包来计算偏度和峰度。 ```R # 安装和加载 e1071 包 if (!require(e1071)) { install.packages("e1071") library(e1071) } # 生成 100 个标准正态随机数向量 u u (100) # 计算均值 mean_u (u) ...
结合下述去除噪声 对于文件：附件1.xlsx 附件1.xlsx无空值 附件1.xlsx反射率小于0的个数：0 附件1.xlsx反射率大于1的个数：0 附件1.xlsx噪声统计分析： 均值: 22.2668 标准差: 17.5880 偏度: 3.2371 峰度: 10.0849 附件1.xlsx可能含有脉冲噪声或重尾噪声（如椒盐噪声） 对于文件：附件2.xlsx 附件2.xlsx无空值 附件2.xlsx反射率小于0的个数：0 附件2.xlsx反射率大于1的个数：262 附件2.xlsx噪声统计分析： 均值: 23.5915 标准差: 18.9837 偏度: 3.2302 峰度: 10.0765 附件2.xlsx可能含有脉冲噪声或重尾噪声（如椒盐噪声） import numpy as np import matplotlib.pyplot as plt from scipy.stats import skew, kurtosis import pandas as pd import os plt.rcParams['font.sans-serif'] = ['SimHei'] plt.rcParams['axes.unicode_minus'] = False path = os.path.dirname(os.path.abspath(__file__)) file_path = os.path.join(path, "附件1.xlsx") # 1. 数据解析函数 def get_data(file_path): file_name = os.path.basename(file_path) data = pd.read_excel(file_path, header=0) if data.isna().any().any(): print(f"{file_name}存在空值：") print(data.isna().sum()) else: print(f"{file_name}无空值") wavenumber = data.iloc[:, 0].values reflectivity = data.iloc[:, 1].values negative_num = np.sum(reflectivity < 0) over_one_num = np.sum(reflectivity > 100) # 表格中数据单位% print(f"{file_name}反射率小于0的个数：{negative_num}") print(f"{file_name}反射率大于1的个数：{over_one_num}") return wavenumber, reflectivity # 2. 噪声分析函数 def analyze_noise(reflectivity, file_name): # 计算统计量 mean = np.mean(reflectivity) std = np.std(reflectivity) skewness = skew(reflectivity) kurt = kurtosis(reflectivity) print(f"\n{file_name}噪声统计分析：") print(f"均值: {mean:.4f}") print(f"标准差: {std:.4f}") print(f"偏度: {skewness:.4f}") print(f"峰度: {kurt:.4f}") # 绘制直方图 plt.figure(figsize=(10, 4)) plt.hist(reflectivity, bins=50, density=True, alpha=0.6, color='blue', edgecolor='black') plt.title(f'{file_name}反射率直方图（用于判断噪声类型）') plt.xlabel('反射率') plt.ylabel('概率密度') plt.grid(True) plt.tight_layout() plt.show() # 概率密度函数拟合（以高斯分布为例） from scipy.stats import norm x = np.linspace(min(reflectivity), max(reflectivity), 100) mu, std = norm.fit(reflectivity) pdf = norm.pdf(x, mu, std) plt.figure(figsize=(10, 4)) plt.hist(reflectivity, bins=50, density=True, alpha=0.6, color='blue', edgecolor='black') plt.plot(x, pdf, 'r-', lw=2, label='拟合高斯分布') plt.title(f'{file_name}反射率概率密度函数拟合') plt.xlabel('反射率') plt.ylabel('概率密度') plt.legend() plt.grid(True) plt.tight_layout() plt.show() # 判断噪声类型 if -0.5 < skewness < 0.5 and 2.5 < kurt < 3.5: print(f"{file_name}可能含有高斯噪声") elif np.abs(skewness) > 1 or kurt > 5: print(f"{file_name}可能含有脉冲噪声或重尾噪声（如椒盐噪声）") elif np.any(reflectivity == 0) or np.any(reflectivity == 100): print(f"{file_name}可能含有椒盐噪声") else: print(f"{file_name}噪声类型不明显，建议进一步分析") # 3. 可视化原始数据 def wavenumber_reflectivity(wavenumber, reflectivity, file_name): plt.figure(figsize=(12, 6)) plt.plot(wavenumber, reflectivity, label='反射率', color='blue', linewidth=1.5) plt.xlabel('波数') plt.ylabel('反射率') plt.title(f'{file_name.split(".")[0]}波数与反射率关系曲线') plt.legend() plt.gca().invert_xaxis() plt.grid(True) plt.tight_layout() plt.show() # 4. 归一化函数 def get_normalization(reflectivity): return reflectivity / 100.0 # 5. 归一化后可视化 def wavenumber_reflectivity_normalization(wavenumber, reflectivity_normalization, file_name): plt.figure(figsize=(12, 6)) plt.plot(wavenumber, reflectivity_normalization, label='归一化反射率', color='green', linewidth=1.5) plt.xlabel('波数') plt.ylabel('归一化反射率') plt.title(f'{file_name.split(".")[0]}归一化波数与反射率关系曲线') plt.legend() plt.gca().invert_xaxis() plt.grid(True) plt.tight_layout() plt.show() if __name__ == "__main__": file_paths = [ os.path.join(path, "附件1.xlsx"), os.path.join(path, "附件2.xlsx") ] for file in file_paths: print(f"\n对于文件：{os.path.basename(file)}") wavenumber, reflectivity = get_data(file) if wavenumber is not None and reflectivity is not None: wavenumber_reflectivity(wavenumber, reflectivity, os.path.basename(file)) analyze_noise(reflectivity, os.path.basename(file)) # 新增噪声分析 reflectivity_normalization = get_normalization(reflectivity) wavenumber_reflectivity_normalization(wavenumber, reflectivity_normalization, os.path.basename(file))
09-06
根据你的描述，**附件1.xlsx** 和 **附件2.xlsx** 的反射率数据中： - 偏度 > 3 - 峰度 > 10 - **判断为：脉冲噪声或重尾噪声（如椒盐噪声）** --- ## ✅ 一、椒盐噪声（脉冲噪声）的特点 | 特征 | 描述 | |----...
数据分布的偏度(skewness)和峰度(kurtosis）
Mxeron的博客
09-30 4万+
偏度（skewness） 是统计数据分布偏斜方向和程度的度量，是统计数据分布非对称程度的数值特征：定义为：样本的三阶标准化矩。 Skew(X)=E[(X−μσ)]=k3σ3=k3k23/2Skew(X)=E[(\frac{X-\mu}{\sigma})]=\frac{k_3}{\sigma_3}=\frac{k_3}{k_2^{3/2}}Skew(X)=E[(σX−μ​)]=σ3​k3​​=k23/2​k3​​ 偏度定义中包括：正态分布（偏度=0）、右偏（尾巴右偏）分布（也叫正偏分布，偏度>0），左偏
描述性分析：偏度和峰度
石榴姐yyds
10-16 3107
集中趋势与离散程度是数据分布的两个重要特征，但要全面了解数据分布的特点，我们还应考虑数据分布的形状是否为对称、偏斜的程度以及分布的扁平程度等问题。
统计特征：偏度和峰度（可视化图例解释）
weixin_74268817的博客
11-05 7977
我们在数据进行数据分析或机器学习前，首先要了解数据，包括数据的分布，统计特征等，本文总结了数据偏度和峰度的概念、检验以及处理办法。
分布形态的度量-偏度系数与峰度系数的探讨
baidu的专栏
11-06 1万+
集中趋势和离散程度是数据分布的两个重要特征,但要全面了解数据分布的特点，还应掌握数据分布的形态。描述数据分布形态的度量有偏度系数和峰度系数,其中偏度系数描述数据的对称性,峰度系数描述与正态分布的偏离程度。
峰度（Kurtosis）与偏态（Skewness）
jishuji的博客
11-18 8255
峰度与偏度计算
偏度和峰度描述什么_什么是偏度和峰度
weixin_26640581的博客
10-12 2万+
偏度和峰度描述什么数据科学，机器学习(Data Science, Machine Learning) In this article, we will go through two of the important concepts in descriptive statistics — Skewness and Kurtosis. At the end of the article, you w...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值