Python数据处理

Python数据分析

《利用Python进行数据分析》

数据处理的例子：

JSON格式文本

• records一个元素，是字典对象

{'a': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.78 Safari/535.11',
 'al': 'en-US,en;q=0.8',
 'c': 'US',
 'cy': 'Danvers',
 'g': 'A6qOVH',
 'gr': 'MA',
 'h': 'wfLQtf',
 'hc': 1331822918,
 'hh': '1.usa.gov',
 'l': 'orofrog',
 'll': [42.576698, -70.954903],
 'nk': 1,
 'r': 'http://www.facebook.com/l/7AQEFzjSi/1.usa.gov/wfLQtf',
 't': 1331923247,
 'tz': 'America/New_York',
 'u': 'http://www.ncbi.nlm.nih.gov/pubmed/22415991'}

（一）Frame结构

空	heartbeat	a	al	…
0	NaN	Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKi…	en-US,en;q=0.8	…
1	NaN	GoogleMaps/RochesterNY	NaN	…
2	NaN	…	…	…

- 里面有NA缺失值，或空。使用fillna函数

clean_tz = frame['tz'].fillna('Missing')
clean_tz[clean_tz == ''] = 'Unknown'

• 在[]里面赋值是错误的！list1[var_emp=(list1==”)]=’Unknown’

list1=['a','b','e',3,4,'']
list1[list1=='']

'a'

• 说明==不完全等价list==

from pandas import  DataFrame,Series
import pandas as pd
list_dict=[{'name':'','age':23,'gender':'female'},
{'name':'merry','age':23,'gender':'female'},
{'name':'smith','age':24,'gender':'male'}]

frame = DataFrame(list_dict)
frame_name=frame['name']
frame_name[frame_name=='']='Unknown'
frame_name[:]

• 结果：
  A value is trying to be set on a copy of a slice from a DataFrame

header 1	header 2
0	Unknown
1	merry
2	smith

Name: name, dtype: object

• frame相当于一个字典？不是，是一个自定义的数据结构：pandas.core.frame.DataFrame。
• frame有种对象frame[‘tz’]，是pandas.core.series.Series对象，==不完全等价list==。可以用切片方法访问列表元素。

frame['tz'][:10]
0     America/New_York
1       America/Denver
2     America/New_York
3    America/Sao_Paulo
4     America/New_York
5     America/New_York
6        Europe/Warsaw
7                     
8                     
9                     
Name: tz, dtype: object

• Series的value_counts方法:
  对列表中的值进行统计。

（二）画图

• 流程