数据分析03-(数值型描述统计及项目分析)

最新推荐文章于 2024-10-08 17:04:39 发布
原创 最新推荐文章于 2024-10-08 17:04:39 发布 · 1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

数据分析-03

处理普通文本

读取文本：read_csv() read_table()

方法参数参数解释
filepath_or_buffer文件路径
sep列之间的分隔符。read_csv()默认为为’,’, read_table()默认为’\t’
header默认将首行设为列名。header=None时应手动给出列名。
namesheader=None时设置此字段使用列表初始化列名。
index_col将某一列作为行级索引。若使用列表，则设置复合索引。
usecols选择读取文件中的某些列。设置为为相应列的索引列表。
skiprows跳过行。可选择跳过前n行或给出跳过的行索引列表。
encoding编码。

写入文本：dataFrame.to_csv()

方法参数参数解释
filepath_or_buffer文件路径
sep列之间的分隔符。默认为’,’
na_rep写入文件时dataFrame中缺失值的内容。默认空字符串。
columns定义需要写入文件的列。
header是否需要写入表头。默认为True。
index会否需要写入行索引。默认为True。
encoding编码。

案例：读取电信数据集。

pd.read_csv('../data/CustomerSurvival.csv', header=None, index_col=0)
处理JSON

读取json：read_json()

方法参数参数解释
filepath_or_buffer文件路径
encoding编码。

案例：读取电影评分数据：

pd.read_json('../data/ratings.json')

写入json：to_json()

方法参数参数解释
filepath_or_buffer文件路径； 若设置为None，则返回json字符串
orient设置面向输出格式：[‘records’, ‘index’, ‘columns’, ‘values’]

案例：

data = {'Name':['Tom', 'Jack', 'Steve', 'Ricky'],'Age':[28,34,29,42]}
df = pd.DataFrame(data, index=['s1','s2','s3','s4'])
df.to_json(orient='records')

其他文件读取方法参见：https://www.pypandas.cn/docs/user_guide/io.html

数值型描述统计（统计学）

算数平均值

$S = [s_1, s_2, …, s_n] $

样本中的每个值都是真值与误差的和。

m e a n = ( s 1 + s 2 + . . . + s n ) n mean = \frac{(s_1 + s_2 + ... + s_n) }{n} mean=n(s1​+s2​+...+sn​)​

算数平均值表示对真值的无偏估计。

m = np.mean(array)
m = array.mean()
m = df.mean(axis=0)

案例：针对电影评分数据做均值分析：

mean = ratings['John Carson'].mean()
mean = np.mean(ratings['John Carson'])
means = ratings.mean(axis=1)
加权平均值

求平均值时，考虑不同样本的重要性，可以为不同的样本赋予不同的权重。

样本： S = [ s 1 , s 2 , s 3 . . . s n ] S = [s_1, s_2, s_3 ... s_n] S=[s1​,s2​,s3​...sn​]

权重： W = [ w 1 , w 2 , w 3 . . . w n ] W =[w_1, w_2, w_3 ... w_n] W=[w1​,w2​,w3​...wn​]

加权平均值：
a = s 1 w 1 + s 2 w 2 + . . . + s n w n w 1 + w 2 + . . . + w n a = \frac{s_1w_1 + s_2w_2 + ... + s_nw_n}{w_1+w_2+...+w_n} a=w1​+w2​+...+wn​s1​w1​+s2​w2​+...+sn​wn​​
代码实现：

a = np.average(array, weights=volumes)

案例：自定义权重，求加权平均。

# 加权均值
w = np.array([3,1,1,1,1,1,1])
np.average(ratings.loc['Inception'], weights=w)

mask = ~pd.isna(ratings.loc['Inception']) 
np.average(ratings.loc['Inception'][mask], weights=w[mask])
最值

np.max() / np.min() / np.ptp()： 返回一个数组中最大值/最小值/极差（最大值减最小值）

import numpy as np
# 产生9个介于[10, 100)区间的随机数
a = np.random.randint(10, 100, 9)
print(a)
print(np.max(a), np.min(a), np.ptp(a))

np.argmax() np.argmin()： 返回一个数组中最大/最小元素的下标

print(np.argmax(a), np.argmin(a))
print(series.idxmax(), series.idxmin())
print(dataframe.idxmax(), dataframe.idxmin())

np.maximum() np.minimum()： 将两个同维数组中对应元素中最大/最小元素构成一个新的数组

print(np.maximum(a, b), np.minimum(a, b), sep='\n')
中位数

将多个样本按照大小排序，取中间位置的元素。

若样本数量为奇数，中位数为最中间的元素

[ 1 , 2000 , 3000 , 4000 , 10000000 ] [1, 2000, 3000, 4000, 10000000] [1,2000,3000,4000,10000000]

若样本数量为偶数，中位数为最中间的两个元素的平均值

[ 1 , 2000 , 3000 , 4000 , 5000 , 10000000 ] [1,2000,3000,4000,5000,10000000] [1,2000,3000,4000,5000,10000000]

案例：分析中位数的算法，测试numpy提供的中位数API：

import numpy as np
closing_prices = np.loadtxt('../../data/aapl.csv', 
	delimiter=',', usecols=(6), unpack=True)
size = closing_prices.size
sorted_prices = np.msort(closing_prices)
median = (sorted_prices[int((size - 1) / 2)] + 
          sorted_prices[int(size / 2)]) / 2
print(median)
median = np.median(closing_prices)
print(median)
频数与众数

频数指一组数据中各离散值出现的次数，而众数则是指一组数据中出现次数最多的值。

cars = np.array(['bmw', 'bmw', 'bz', 'audi', 'bz', 'bmw'])
cars = pd.Series(cars)
cars.value_counts()
cars.mode()
四分位数

所谓四分位数，即把数值由小到大排列并分成四等份，处于三个分割点位置的数值就是四分位数。

  • 第1四分位数 (Q1)，又称“较小四分位数”，等于该样本中所有数值由小到大排列后第25%的数字。
  • 第2四分位数 (Q2)，又称“中位数”，等于该样本中所有数值由小到大排列后第50%的数字。
  • 第3四分位数 (Q3)，又称“较大四分位数”，等于该样本中所有数值由小到大排列后第75%的数字。

第3四分位数与第1四分位数的差距又称四分位距（InterQuartile Range,IQR）

ary = np.array([1,1,1,2,2,2,2,2,2,2,3,3,3,3,3,3,3,3,3,3,3,3,4,4,4,4,5,5,5])
s = pd.Series(ary)
s.quantile([.0, .25, .5, .75, 1.])
标准差

样本（sample）：
S = [ s 1 , s 2 , s 3 , . . . , s n ] S = [s_1, s_2, s_3, ..., s_n] S=[s1​,s2​,s3​,...,sn​]
平均值：
m = s 1 + s 2 + s 3 + . . . + s n n m = \frac{s_1 + s_2 + s_3 + ... + s_n}{n} m=ns1​+s2​+s3​+...+sn​​
离差（deviation）：表示某组数据距离某个中心点的偏离程度
D = [ d 1 , d 2 , d 3 , . . . , d n ] d i = S i − m D = [d_1, d_2, d_3, ..., d_n]\\ d_i = S_i-m D=[d1​,d2​,d3​,...,dn​]di​=Si​−m
离差方：
Q = [ q 1 , q 2 , q 3 , . . . , q n ] q i = d i 2 Q = [q_1, q_2, q_3, ..., q_n]\\ q_i=d_i^2 Q=[q1​,q2​,q3​,...,qn​]qi​=di2​
总体方差（variance）：
v = ( q 1 + q 2 + q 3 + . . . + q n ) n v = \frac{(q_1+q_2+q_3 + ... + q_n)}{n} v=n(q1​+q2​+q3​+...+qn​)​
总体标准差（standard deviation）：
s = v s = \sqrt{v} s=v ​
样本方差：
v ′ = ( q 1 + q 2 + q 3 + . . . + q n ) n − 1 v' = \frac{(q_1+q_2+q_3 + ... + q_n)}{n-1} v′=n−1(q1​+q2​+q3​+...+qn​)​
其中，n-1称之为“贝塞尔校正”，这是因为抽取样本时候，采集的样本主要是落在中心值附近，那么通过这些样本计算的方差会小于等于对总体数据集方差的无偏估计值。为了能弥补这方面的缺陷，那么我们把公式的n改为n-1,以此来提高方差的数值。称为贝塞尔校正系数。

样本标准差：
s ′ = v ′ s' = \sqrt{v'} s′=v′ ​
案例： 根据标准差理论，针对评分数据进行方差分析：

ratings.std(axis=0)
宏观数值统计
ratings.describe()
协方差、相关矩阵、相关系数

通过两组统计数据计算而得的协方差可以评估这两组统计数据的相似程度（相关性）。

样本：

A = [a1, a2, ..., an]
B = [b1, b2, ..., bn]

平均值：

ave_a = (a1 + a2 +...+ an)/n
ave_b = (b1 + b2 +...+ bn)/n

离差（用样本中的每一个元素减去平均数，求得数据的误差程度）：

dev_a = [a1, a2, ..., an] - ave_a
dev_b = [b1, b2, ..., bn] - ave_b

协方差

协方差可以简单反映两组统计样本的相关性，值为正，则为正相关；值为负，则为负相关，绝对值越大相关性越强。

cov_ab = mean(dev_a x dev_b)
cov_ba = mean(dev_b x dev_a)

案例：计算两组股票数据的协方差，得出分析结论。

bhp = pd.read_csv('../data/bhp.csv', header=None, usecols=[6], names=['closing'])
vale = pd.read_csv('../data/vale.csv', header=None, usecols=[6], names=['closing'])

#平均值
ave_bhp = np.mean(bhp)
ave_vale = np.mean(vale)
#离差
dev_bhp = bhp - ave_bhp
dev_vale = vale - ave_vale
#协方差
cov_ab = np.mean(dev_bhp*dev_vale)
cov_ab

相关系数

协方差除去两组统计样本标准差的乘积是一个[-1, 1]之间的数。该结果称为统计样本的相关系数。

# a组样本 与 b组样本做对照后的相关系数
cov_ab/(std_a x std_b)
# b组样本 与 a组样本做对照后的相关系数
cov_ba/(std_b x std_a)
# a样本与a样本作对照   b样本与b样本做对照   二者必然相等
cov_ab/(std_a x std_b)=cov_ba/(std_b x std_a)

通过相关系数可以分析两组数据的相关性：

若相关系数越接近于0，越表示两组样本越不相关。
若相关系数越接近于1，越表示两组样本正相关。
若相关系数越接近于-1，越表示两组样本负相关。

案例：输出案例中两组数据的相关系数。

#相关系数： 协方差 /两组样本标准差之积
print('相关系数：', cov_ab/(np.std(a)*np.std(b)), cov_ba/(np.std(a)*np.std(b)))

# 直接返回相关系数
np.corrcoef(bhp,vale)

相关矩阵
[ v a r _ a s t d _ a × s t d _ a c o v _ a b s t d _ a × s t d _ b c o v _ b a s t d _ b × s t d _ a v a r _ b s t d _ b × s t d _ b ] \left[ \begin{array}{c} \frac{var\_a}{std\_a \times std\_a} & \frac{cov\_ab}{std\_a \times std\_b} \\ \frac{cov\_ba}{std\_b \times std\_a} & \frac{var\_b}{std\_b \times std\_b}\\ \end{array} \right ] [std_a×std_avar_a​std_b×std_acov_ba​​std_a×std_bcov_ab​std_b×std_bvar_b​​]
矩阵正对角线上的值都为1。（同组样本自己相比绝对正相关）
[ 1 c o v _ a b s t d _ a × s t d _ b c o v _ b a s t d _ b × s t d _ a 1 ] \left[ \begin{array}{ccc} 1 & \frac{cov\_ab}{std\_a \times std\_b} \\ \frac{cov\_ba}{std\_b \times std\_a} & 1\\ \end{array} \right ] [1std_b×std_acov_ba​​std_a×std_bcov_ab​1​]
numpy与pandas提供了求得相关矩阵与协方差矩阵的API：

# 相关矩阵
a = [5, 3, 5, 3, 1]
b = [4, 2, 3, 4, 2]
np.corrcoef(a, b)	
dataFrame.corr()

# 协方差矩阵 
# [[aa的协方差，ab的协方差], [ba的协方差, bb的协方差]]
np.cov(a, b)			
dataFrame.cov()

项目：保健品消费情况特征描述性统计分析

项目文件资源下载

在我的资源文件中下载：
https://download.youkuaiyun.com/download/yegeli/12562286
保健品.csv、保健品字段介绍.csv

import numpy as np
import pandas as pd

data = pd.read_csv('保健品.csv', engine='python')
# 拿到前20题的结果
sub_data = data.loc[:, :'q5_20']
sub_data.head()
q5_01q5_02q5_03q5_04q5_05q5_06q5_07q5_08q5_09q5_10q5_11q5_12q5_13q5_14q5_15q5_16q5_17q5_18q5_19q5_20
033455545344434552344
154555554444344555445
255551141115115511511
335511145444234344115
454223443432532343453
q5_01	令面色红润
q5_02	使皮肤有光泽
q5_03	精神状态好
q5_04	去斑
q5_05	去痘
q5_06	去皱
q5_07	解决皮肤干燥
q5_08	调节内分泌
q5_09	延缓皮肤衰老
q5_10	去除疲劳
q5_11	提高睡眠质量
q5_12	消除黑眼圈
q5_13	通便润肠
q5_14	抗衰老
q5_15	提高免疫力
q5_16	应该对自己好点
q5_17	希望自己像模特一样
q5_18	同龄人都在服用
q5_19	年轻人对我说该服用
q5_20	女为悦己者容
q8	主要服用的产品
w1	婚姻
w2	教育
w6	个人收入

desc = sub_data.describe()
desc
q5_01q5_02q5_03q5_04q5_05q5_06q5_07q5_08q5_09q5_10q5_11q5_12q5_13q5_14q5_15q5_16q5_17q5_18q5_19q5_20
count625.000000625.000000625.0000625.000000625.000000625.000000625.000000625.000000625.000000625.000000625.000000625.000000625.000000625.00000625.00000625.000000625.000000625.000000625.000000625.000000
mean3.8048003.9328004.15523.3056002.7600003.2768003.6832003.6432003.7504003.9008003.8448003.1392003.4384003.665604.032003.8688002.6944003.0368003.0320003.275200
std1.2886251.1734081.04541.4853081.5617631.5458351.3535761.3829511.3710971.1490311.2909611.4067661.4130111.411441.187111.2616391.5590051.3868391.3583551.417985
min1.0000001.0000001.00001.0000001.0000001.0000001.0000001.0000001.0000001.0000001.0000001.0000001.0000001.000001.000001.0000001.0000001.0000001.0000001.000000
25%3.0000003.0000004.00002.0000001.0000002.0000003.0000003.0000003.0000003.0000003.0000002.0000002.0000003.000003.000003.0000001.0000002.0000002.0000002.000000
50%4.0000004.0000004.00004.0000003.0000004.0000004.0000004.0000004.0000004.0000004.0000003.0000004.0000004.000004.000004.0000002.0000003.0000003.0000003.000000
75%5.0000005.0000005.00005.0000004.0000005.0000005.0000005.0000005.0000005.0000005.0000004.0000005.0000005.000005.000005.0000004.0000004.0000004.0000005.000000
max5.0000005.0000005.00005.0000005.0000005.0000005.0000005.0000005.0000005.0000005.0000005.0000005.0000005.000005.000005.0000005.0000005.0000005.0000005.000000
相关性分析
corr = sub_data.corr()
corr[corr>0.4] = 999
corr[corr<=0.4] = 0
corr
q5_01q5_02q5_03q5_04q5_05q5_06q5_07q5_08q5_09q5_10q5_11q5_12q5_13q5_14q5_15q5_16q5_17q5_18q5_19q5_20
q5_01999.0999.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.0
q5_02999.0999.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.0
q5_030.00.0999.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.0
q5_040.00.00.0999.00.0999.00.00.00.00.00.00.00.00.00.00.00.00.00.00.0
q5_050.00.00.00.0999.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.0
q5_060.00.00.0999.00.0999.0999.00.0999.00.00.00.00.00.00.00.00.00.00.00.0
q5_070.00.00.00.00.0999.0999.00.00.00.00.00.00.00.00.00.00.00.00.00.0
q5_080.00.00.00.00.00.00.0999.00.00.00.00.00.00.00.00.00.00.00.00.0
q5_090.00.00.00.00.0999.00.00.0999.00.00.00.00.0999.00.00.00.00.00.00.0
q5_100.00.00.00.00.00.00.00.00.0999.00.00.00.00.00.00.00.00.00.00.0
q5_110.00.00.00.00.00.00.00.00.00.0999.00.00.00.00.00.00.00.00.00.0
q5_120.00.00.00.00.00.00.00.00.00.00.0999.00.00.00.00.00.00.00.00.0
q5_130.00.00.00.00.00.00.00.00.00.00.00.0999.00.00.00.00.00.00.00.0
q5_140.00.00.00.00.00.00.00.0999.00.00.00.00.0999.00.00.00.00.00.00.0
q5_150.00.00.00.00.00.00.00.00.00.00.00.00.00.0999.00.00.00.00.00.0
q5_160.00.00.00.00.00.00.00.00.00.00.00.00.00.00.0999.00.00.00.00.0
q5_170.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.0999.00.00.00.0
q5_180.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.0999.0999.00.0
q5_190.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.0999.0999.00.0
q5_200.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.0999.0

通过相关性分析，发现某些字段之间有正相关关系，代表保健品解决的是同一种问题。可以把当前这20道题总结出几个主要方面（消费保健品的重要因素）便于后期分析：

  1. 改善精神状态
  2. 抗衰老
  3. 有益于身体健康
  4. 关注外界看法
分析市场中现有的保健品所关注的功效
mean_score = desc.loc['mean']
# 降序排列均值数组
mean_score = mean_score.sort_values(ascending=False)
# 整理结果
fields = pd.read_csv('保健品字段介绍.csv', engine='python',
        header=None, names=['fid', 'effect', '_'],
        usecols=['fid', 'effect'], index_col='fid',
        encoding='gbk')
fields['mean_score'] = mean_score
# by：按照mean_score列进行降序排列
fields = fields.sort_values(by='mean_score', ascending=False)
fields
effectmean_score
fid
q5_03精神状态好4.1552
q5_15提高免疫力4.0320
q5_02使皮肤有光泽3.9328
q5_10去除疲劳3.9008
q5_16应该对自己好点3.8688
q5_11提高睡眠质量3.8448
q5_01令面色红润3.8048
q5_09延缓皮肤衰老3.7504
q5_07解决皮肤干燥3.6832
q5_14抗衰老3.6656
q5_08调节内分泌3.6432
q5_13通便润肠3.4384
q5_04去斑3.3056
q5_06去皱3.2768
q5_20女为悦己者容3.2752
q5_12消除黑眼圈3.1392
q5_18同龄人都在服用3.0368
q5_19年轻人对我说该服用3.0320
q5_05去痘2.7600
q5_17希望自己像模特一样2.6944
q8主要服用的产品NaN
w1婚姻NaN
w2教育NaN
w6个人收入NaN

通过上表可得：多数产品在产品功效上更多关注改善用户的精神状态，其次抗衰老，再次为身体健康，最后为外界因素。

统计收集到的结果中每一种保健品的已婚未婚频数
# w1字段的频数
result = data['w1'].value_counts()
result / result.sum()

2    0.7248
1    0.2752
Name: w1, dtype: float64

收集到的数据中，已婚占比：72% 未婚占比：27%

统计每一种保健品的频数
products = {1:'太太**',2:'乌鸡**',3:'排毒**',4:'阿*',
            5:'红桃*',6:'脑白*',7:'朵**',9:'其他'}
products = pd.Series(products)
r = data['q8'].value_counts()
# 把两个Series合并到一个DataFrame中
result = pd.DataFrame({'products':products, 'q8':r})
result.sort_values(by='q8', ascending=False)
productsq8
9其他282
3排毒**83
1太太**55
5红桃*55
7朵**55
4阿*40
2乌鸡**32
6脑白*23

由结果可知，市场占有率最高的是“排毒”，第二梯队：“太太”、“红桃”、“朵”，针对当前这种情况，如果想要切入保健品市场，可以尽快抢占：“乌鸡”、“阿”等产品的市场占有率，进而慢慢蚕食第二梯队的市场。所以后续分析可以关注一下这几个品牌。

研究每个产品的功效的侧重点
# 研究每一个的产品   功效侧重点
result1 = pd.DataFrame([])
for k, v in products.items():
    mask = data['q8']==k
    result1[k] = sub_data[mask].mean()
result1
12345679
q5_014.1818183.875003.8554223.6253.7454553.5652173.6363643.797872
q5_024.2181824.031253.9156633.5503.8909093.6521744.1272733.918440
q5_034.0181824.031254.2168673.9004.2727273.9130434.2000004.202128
q5_043.5090913.375003.4578312.6503.1090913.4782613.2909093.333333
q5_052.5636362.843753.1084341.9252.9454552.8695653.1636362.680851
q5_063.7272733.218753.2530123.2002.8545453.4782613.5272733.230496
q5_073.8727273.781253.8433733.3253.4000003.7826093.8727273.648936
q5_083.8181824.031253.8674703.2003.2727273.5217393.6909093.634752
q5_093.9636363.531253.7951813.5503.4727273.4782613.7454553.826241
q5_103.6363643.812503.7710843.7754.0000003.1739134.0909094.021277
q5_113.8909093.875003.5301203.4503.8909094.1304353.8363643.950355
q5_123.2181822.906253.1927712.3253.2545453.6086963.3090913.156028
q5_133.3272733.593753.7590363.0002.8181823.2173913.6727273.503546
q5_143.7818183.625003.6144583.5253.1818183.3478263.5636363.822695
q5_153.8363644.156254.0240963.9004.0000003.7826093.8727274.134752
q5_163.8000004.468753.6265063.5254.1090913.3913044.0727273.886525
q5_172.9272732.718752.7469882.2253.0909092.2173913.0363642.592199
q5_183.1454553.468753.1084342.5753.2000002.8260873.2727272.950355
q5_193.2909093.375002.9638552.7253.2181822.8695653.0727272.975177
q5_203.5090913.781253.6265062.3753.1090912.8260873.2545453.269504
# 获取每一列的最大值的索引，可以理解为每个产品最注重的功效
result_idxmax = result1.idxmax()
result2 = pd.DataFrame(
    {'products':products, 'idxmax': result_idxmax})
result2
idxmaxproducts
1q5_02太太**
2q5_16乌鸡**
3q5_03排毒**
4q5_03阿*
5q5_03红桃*
6q5_11脑白*
7q5_03朵**
9q5_03其他
# 迭代idxmax列，通过fid得到一组对应的功效字符串，追加到result2
def func(item):
    return fields['effect'].loc[item]
result2['effect'] = result2['idxmax'].apply(func)
result2
idxmaxproductseffect
1q5_02太太**使皮肤有光泽
2q5_16乌鸡**应该对自己好点
3q5_03排毒**精神状态好
4q5_03阿*精神状态好
5q5_03红桃*精神状态好
6q5_11脑白*提高睡眠质量
7q5_03朵**精神状态好
9q5_03其他精神状态好

由每个产品的功效侧重点可得：
若希望切入保健品市场，功效方面则优先保证改善用户的精神状态。而针对“乌鸡”、“阿”这些竞品，可以从广告投放，舆论扩散，产品口号等角度抢占他们的市场。

研究每个产品的用户群体，婚否字段分析
# w1字段的频数
result = data['w1'].value_counts()
result / result.sum()

2    0.7248
1    0.2752
Name: w1, dtype: float64

# 研究q8==k的用户群体
result3 = pd.DataFrame([])
for k, v in products.items():
    mask = data['q8']==k
    result3[k] = data[mask]['w1'].value_counts()
result3 = result3.T
result3.columns = ['married', 'not-married']
result3['product'] = products
result3['effect'] = result2['effect']
result3
marriednot-marriedproducteffect
1505太太**使皮肤有光泽
22111乌鸡**应该对自己好点
34736排毒**精神状态好
4391阿*精神状态好
52431红桃*精神状态好
61310脑白*提高睡眠质量
74213朵**精神状态好
921765其他精神状态好

可知：“太太”、“阿”、“红桃”对婚姻属性比较敏感，前两者针对已婚女士，“红桃”针对未婚女士。已婚女士更关注保健品的护肤、抗衰老等功效，未婚女士更多要保持年轻精神状态。针对“乌鸡”、“阿”角度分析，可以更多关注已婚女士对保健品的需求，设计相关产品形象。

结论
  1. 多数产品在产品功效上更多关注改善用户的精神状态，其次抗衰老，再次为身体健康，最后为外界因素。
  2. 如果想要切入保健品市场，可以尽快抢占：“乌鸡”、“阿”等产品的市场占有率，进而慢慢蚕食第二梯队的市场。所以后续分析可以关注一下这几个品牌。
  3. 若希望切入保健品市场，功效方面则优先保证改善用户的精神状态。而针对“乌鸡”、“阿”这些竞品，可以从广告投放，舆论扩散，产品口号等角度抢占他们的市场。
  4. 已婚女士更关注保健品的护肤、抗衰老等功效，未婚女士更多要保持年轻精神状态。针对“乌鸡”、“阿”角度分析，可以更多关注已婚女士对保健品的需求，设计相关产品形象。

代码总结

import numpy as np
import pandas as pd

ratings = pd.read_json('../../data/ratings.json')
ratings
John CarsonMichelle PetersonWilliam ReynoldsJillian HobartMelissa JonesAlex RobertsMichael Henry
Inception2.53.02.5NaN33.0NaN
Pulp Fiction3.53.53.03.544.04.5
Anger Management3.01.5NaN3.02NaNNaN
Fracture3.55.03.54.035.04.0
Serendipity2.53.5NaN2.523.51.0
Jerry Maguire3.03.04.04.533.0NaN
m = ratings.loc['Inception'].mean()
m = ratings.mean()
m = ratings.mean(axis=1)
m

Inception           2.800000
Pulp Fiction        3.714286
Anger Management    2.375000
Fracture            4.000000
Serendipity         2.500000
Jerry Maguire       3.416667
dtype: float64

scores = ratings.loc['Fracture']
weights = [3, 5, 5, 3, 1, 1, 1]
s = np.average(scores, weights=weights)
s

4.052631578947368
最值
np.max(ratings['Alex Roberts']), np.min(ratings['Alex Roberts'])

(5.0, 3.0)

ratings.max(axis=1)

Inception           3.0
Pulp Fiction        4.5
Anger Management    3.0
Fracture            5.0
Serendipity         3.5
Jerry Maguire       4.5
dtype: float64

ratings.idxmax(axis=1)

Inception           Michelle Peterson
Pulp Fiction            Michael Henry
Anger Management          John Carson
Fracture            Michelle Peterson
Serendipity         Michelle Peterson
Jerry Maguire          Jillian Hobart
dtype: object

ratings.idxmin()

John Carson                 Inception
Michelle Peterson    Anger Management
William Reynolds            Inception
Jillian Hobart            Serendipity
Melissa Jones        Anger Management
Alex Roberts                Inception
Michael Henry             Serendipity
dtype: object
中位数
np.median(ratings.loc['Fracture'])

4.0

ratings.median()

John Carson          3.00
Michelle Peterson    3.25
William Reynolds     3.25
Jillian Hobart       3.50
Melissa Jones        3.00
Alex Roberts         3.50
Michael Henry        4.00
dtype: float64

ratings
John CarsonMichelle PetersonWilliam ReynoldsJillian HobartMelissa JonesAlex RobertsMichael Henry
Inception2.53.02.5NaN33.0NaN
Pulp Fiction3.53.53.03.544.04.5
Anger Management3.01.5NaN3.02NaNNaN
Fracture3.55.03.54.035.04.0
Serendipity2.53.5NaN2.523.51.0
Jerry Maguire3.03.04.04.533.0NaN
频数与众数
cars = np.array(['bmw', 'bmw', 'bz', 'bz', 'audi', 'bz', 'bmw'])
cars = pd.Series(cars)
cars.value_counts()

bmw     3
bz      3
audi    1
dtype: int64

cars.mode()

0    bmw
1     bz
dtype: object
四分位数
data = pd.read_csv('CustomerSurvival.csv', header=None)
data
extra_time = data[2]

extra_time.quantile([.0, .25, .5, .75, 1.])

0.00   -2828.33
0.25    -126.67
0.50      13.50
0.75     338.66
1.00    4314.00
Name: 2, dtype: float64
方差与标准差
# ddof=1: 贝塞尔校正系数
np.std(ratings['John Carson'], ddof=1), \
np.std(ratings['Michelle Peterson'])

(0.4472135954999579, 1.0307764064044151)

ratings.std()

John Carson          0.447214
Michelle Peterson    1.129159
William Reynolds     0.645497
Jillian Hobart       0.790569
Melissa Jones        0.752773
Alex Roberts         0.836660
Michael Henry        1.892969
dtype: float64

ratings.describe()
John CarsonMichelle PetersonWilliam ReynoldsJillian HobartMelissa JonesAlex RobertsMichael Henry
count6.0000006.0000004.0000005.0000006.0000005.000003.000000
mean3.0000003.2500003.2500003.5000002.8333333.700003.166667
std0.4472141.1291590.6454970.7905690.7527730.836661.892969
min2.5000001.5000002.5000002.5000002.0000003.000001.000000
25%2.6250003.0000002.8750003.0000002.2500003.000002.500000
50%3.0000003.2500003.2500003.5000003.0000003.500004.000000
75%3.3750003.5000003.6250004.0000003.0000004.000004.250000
max3.5000005.0000004.0000004.5000004.0000005.000004.500000
data.describe()
0123456789
count4975.0000004975.0000004975.0000004975.0000004975.0000004975.0000004975.0000004975.0000004975.0000004975.000000
mean2488.0000001.057688258.520034-71.5804220.0213070.2452260.0474370.22733714.7742710.782714
std1436.3031250.258527723.057213275.5574480.1444190.4302640.2781430.4191546.5342730.412441
min1.0000001.000000-2828.330000-2189.8800000.0000000.0000000.0000000.0000001.0000000.000000
25%1244.5000001.000000-126.670000-74.2900000.0000000.0000000.0000000.00000013.0000001.000000
50%2488.0000001.00000013.500000-59.6500000.0000000.0000000.0000000.00000013.0000001.000000
75%3731.5000001.000000338.660000-25.7950000.0000000.0000000.0000000.00000019.0000001.000000
max4975.0000003.0000004314.0000002568.7000001.0000001.0000002.0000001.00000025.0000001.000000
协方差、相关矩阵、相关系数
A = ratings['John Carson']
B = ratings['Melissa Jones']
# 求两组数据的均值
mean_a = A.mean()
mean_b = B.mean()
# 求离差
dev_a = A - mean_a
dev_b = B - mean_b
# 求协方差
cov_ab = np.mean(dev_a * dev_b)
cov_ab

0.16666666666666666

# 相关系数   协方差/两组样本标准差之积
coef = cov_ab / (np.std(A) * np.std(B))
coef

0.5940885257860046

# np.corrcoef() 返回相关系数矩阵
np.corrcoef(A, B)
C = ratings['Michelle Peterson']
np.corrcoef([A, B, C])


array([[1.        , 0.59408853, 0.39605902],
       [0.59408853, 1.        , 0.41176471],
       [0.39605902, 0.41176471, 1.        ]])

ratings.corr()
John CarsonMichelle PetersonWilliam ReynoldsJillian HobartMelissa JonesAlex RobertsMichael Henry
John Carson1.0000000.3960590.4045200.5669470.5940890.7470180.991241
Michelle Peterson0.3960591.0000000.2045980.3149700.4117650.9637960.381246
William Reynolds0.4045200.2045981.0000001.000000-0.2581990.134840-1.000000
Jillian Hobart0.5669470.3149701.0000001.0000000.5669470.0285710.893405
Melissa Jones0.5940890.411765-0.2581990.5669471.0000000.2112890.924473
Alex Roberts0.7470180.9637960.1348400.0285710.2112891.0000000.662849
Michael Henry0.9912410.381246-1.0000000.8934050.9244730.6628491.000000
ratings
John CarsonMichelle PetersonWilliam ReynoldsJillian HobartMelissa JonesAlex RobertsMichael Henry
Inception2.53.02.5NaN33.0NaN
Pulp Fiction3.53.53.03.544.04.5
Anger Management3.01.5NaN3.02NaNNaN
Fracture3.55.03.54.035.04.0
Serendipity2.53.5NaN2.523.51.0
Jerry Maguire3.03.04.04.533.0NaN
数值型数据描述统计
weixin_40809507的博客
12-05 1853
目录 文章目录目录七、数值型数据描述统计1. 算数平均值(arithmetic mean)2. 加权平均值(weighted average)3. 最值4. 中位数5. 频数与众数6 .四分位数7. 标准差8. 协方差、相关系数、相关系数矩阵1. 协方差2.相关系数3. 相关系数矩阵9. Pandas 特殊值处理9. Pandas数据排序10. Pandas数据合并11. pandas分组聚合八、pandas可视化1. 折线图2. 柱状图3. 散点图4. 饼状图5. 直方图6. 箱线图九、数据清洗1. 去重
数据分析之----数值模型描述统计
大大枫free
05-24 1305
数据分析DAY03 处理普通文本 读取文本：read_csv() read_table() 方法参数 参数解释 filepath_or_buffer 文件路径 sep 列之间的分隔符。read_csv()默认为为’,’, read_table()默认为’\t’ header 默认将首行设为列名。header=None时应手动给出列名。 names header=None时设置此字段使用列表初始化列名。 index_col 将某一列作为行级索引。若使用列表，则设置复合索引。
数值型数据的探索分析
lsxxx2011的专栏
03-09 568
数据分析过程中，往往需要对数据作基本的探索性分析，查看数据是否存在问题，如缺失值数量、是否存在明显的异常值、数据是如何分布的、数据的集中趋势和离散趋势等。探索性分析一般包...
用python做数据分析--七大数据类型之数值型
qq_39615254的博客
01-11 909
数值型 数值型数据在python中是不可变数据类型，包含整数型int、浮点数型float、复数型complex 整数型int Python中的整型属于int类型，，默认用十进制表示，此外，也支持二进制，八进制，十六进制表示方法。 浮点数型float 浮点数是属于有理数当中的，Python中的浮点数就是数学当中的小数， 在运算中，整数与浮点数运算的结果依旧是浮点数。 复数型complex 语法：...
统计基础知识—数据类型（下）
HRMEMEDA的博客
12-28 4582
指的是非众数组的频数占总的频数的比例，还是上面的例子，比如职业，假设我们的样本包含的职业共有工人、白领、医生三种，其对应的频数分别为100/200/300，众数为医生，那么职业的异众比率=（工人+白领）/（工人+白领+医生）=300/600=0.5。中位数是把数据排序后处于50%位置对应的数，上文求的中位数为3，上四分位数和下四分位数分别对应25%和75%的数据，分别求出为2和3，也就是说泰坦尼克号上买得起2等座的乘客已经超越了大概75%的人了。
R语言笔记-数值型变量的描述统计
树屋Treehouse
10-21 3856
文章目录不分亚组的描述统计使用向量操作计算单个变量的描述统计量计算汇总了多个变量的数据框的描述统计量：``sapply()````psych``包：``describe()``分亚组的描述统计``aggregate()````epiDisplay``包：``summ()````psych``包：``describeBy()`` 不分亚组的描述统计 以MASS包中的数据集birthwt为示例。 使用向量操作计算单个变量的描述统计量 单个变量统计函数计算的基本语法：统计函数(数据框$变量名) 关于基本统计函数
美国大选献金项目数据分析-附带测试数据源.zip
03-26
用统计学指标快速描述数值型属性的概要。 空值处理。可能因为忘记填写或者保密等等原因，相关字段出现了空值，将其填充为NOT PROVIDE 异常值处理。将捐款金额的数据删除 新建一列为各个候选人所在党派party 查看...
Python示例源码-数据分析-CDNow网站用户消费行为分析-大作业.zip
最新发布
05-25
数据转换则涉及将数据转换成适合分析的格式，例如将非数值型数据转换为数值型数据，或者对数据进行标准化处理。 在完成数据预处理之后，便可以开始真正的数据分析工作。在这个阶段，Python的统计分析库如SciPy和...
软件项目数据分析基本方法(IT项目管理专家-曹济).pdf
04-29
软件项目数据分析是指利用各种统计和数学方法，对软件项目中的数据进行收集、处理、分析和解释的过程，以辅助项目管理决策、评估项目性能、预测未来趋势以及优化项目过程。曹济博士在北京随济科技有限公司提供的这份...
Python数据分析与可视化项目房地产类-二手房数据分析-约400行（数据探索分析、matplotlib可视化）.zip
07-10
本项目主要围绕Python数据分析与可视化展开，以房地产行业的二手房数据为研究对象，通过约400行代码，深入探讨了数据的探索性分析和可视化。这个项目非常适合初学者提升技能，也可以作为数据分析报告或者毕业设计的...
rating.json
09-08
这个是一些数据以jeson格式的 {"movie":"3408","rate":"4","timeStamp":"978300275","uid":"1"} {"movie":"2355","rate":"5","timeStamp":"978824291","uid":"1"} {"movie":"1197","rate":"3","timeStamp":"978302268","uid":"1"} {"movie":"1287","rate":"5","timeStamp":"978302039","uid":"1"} {"movie":"2804","rate":"5","timeStamp":"978300719","uid":"1"} {"movie":"594","rate":"4","timeStamp":"978302268","uid":"1"} {"movie":"919","rate":"4","timeStamp":"978301368","uid":"1"} {"movie":"595","rate":"5","timeStamp":"978824268","uid":"1"} {"movie":"938","rate":"4","timeStamp":"978301752","uid":"1"} {"movie":"2398","rate":"4","timeStamp":"978302281","uid":"1"}
图像的统计与描述
yuyuzhang1的博客
10-26 486
图像的统计和描述 本篇是遥感数字图像处理中的关于图像的统计与描述。共分为七个部分，分别为均值、中值、排序、众数、方差/协方差、相关系数、直方图/累计直方图，下面将分别进行叙述。 程序均用matlab实现 1.均值 对图像进行处理时，首先需要先将二维向量转变为一维向量，同时将数据类型转换为double型才能使运算结果更加准确。 程序分析：使用for循环遍历每一个波段每一个像素的灰度值，累计相加求和，最后除以总的像素个数，得到每个波段的灰度平均值。 代码实现如下所示： function st=statics(i
origin
weixin_52456419的博客
10-08 1043
缩略图，ctrl点住右边那个放大镜，一拉右边就和正常图操作一样，多的红色的线条和填充全用无色代替。小数点要留的话，小数点后几位自己选，数字过大就选1000那个选项。网格，双击线，一般是灰1.0点划线，浅灰0.5电线。先这些吧，写到啥发啥，挨骂是经常的，脸皮要厚心要细。完了颜色，点最右边的双击，选独立，单个选颜色。建立电线图，全选数据，下面第三个点开第一个。图不顺，点右上角第一个抗锯齿。
七、统计描述
weixin_40809507的博客
12-11 3335
七、统计描述 统计描述概论 统计描述（也叫数据展示），是把一堆原始数据用指标或者图表的方式概括出来。 统计描述思想中重要的一环就是统计学分析，这涉及到常见统计学指标的运用及分析，需要数据分析师掌握相关统计学知识。 常见指标主要有： 算数平均值 加权平均值 最值、中位数 频数、众数 四分位数 方差、标准差 … 1. 算数平均值(arithmetic mean) 样本中的每个值都是真值与误差的和，算数平均值表示对真值的无偏估计。 数学表示 样本：S=[s1,s2,s3,…,sn]S = [s_1, s_2,
数据类型与数据分析方法
爱上统计学
12-03 9208
1．分类型数据和数值型数据 按照所采用的计量尺度不同，可以将统计数据分为分类数据、顺序数据和数值型数据。 归属于某一类别的数据称为分类型数据（categorical data），其结果均表现为类别，也称为品质数据（quality data）。 描述现象的数量、大小或多少的数据称为数值型数据（quantitative data），由于定距尺度和定比尺度属于同一测量层次，所以可以把后两种尺度测度的数...
怎样用EXCEL对数值型字段进行分组？
数据分析秦翼臣
09-01 2万+
1、什么是数值分组？ 这里说的数值分组是指对数值型字段，按照一定的依据重新分组生成新字段。 如图，表1是原始数据，在表1中添加一个辅助列“分组”就形成了表2.字段“分组”是根据字段“成绩”决定的。学生成绩在0-59区间为“不及格”，在60-75区间为“及格”……分组的依据见表3.把表1变成表2就是数值分组。 2、怎样用EXCEL实现数值分组？ 方法1： 用函数vlookup的模糊...
R语言之数值型描述分析
timerring的博客
09-01 505
数值型变量的描述性统计分析
vb中线性拟合_编辑之谭/Origin官方联合发布：分段非线性拟合
weixin_28961565的博客
01-04 999
视频·图文教程【导读】OriginPro官网发布的视频教程非常棒，谭编非常荣幸联合发布实战教程。广大读者可以根据需要，观看英文视频教程(训练听力)，也可以利用本教程的练习文件，跟随教程同步操练。【版本】OriginPro2018(9.5)【资料】文末获取：Piecewise Fit、练习文件【视频教程】【实战教程】今天结合Origin官方视频教程，用Piecewise Fit的App来演...
描述性数据分析
热门推荐
data_cola的博客
07-22 4万+
一、什么是描述统计分析（Descriptive Analysis） 概念：使用几个关键数据来描述整体的情况 描述性数据分析属于比较初级的数据分析，常见的分析方法包括对比分析法、平均分析法、交叉分析法等。描述性统计分析要对调查总体所有变量的有关数据做统计性描述，主要包括数据的频数分析、数据的集中趋势分析、数据离散程度分析、数据的分布、以及一些基本的统计图形。 Excel里的分析工具库里的数据分...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

YEGE学AI算法

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值