《利用python进行数据分析》学习笔记（一）

最新推荐文章于 2024-06-22 10:30:53 发布

mike112223

最新推荐文章于 2024-06-22 10:30:53 发布

阅读量7.4k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：《利用python进行数据分析》学习笔记文章标签： python 数据分析 json

本文链接：https://blog.youkuaiyun.com/mike112223/article/details/73135348

这篇博客介绍了如何使用Python进行数据分析，特别是处理usa.gov数据时的一些关键步骤，如导入数据、计数时区、处理缺失值，以及利用collections、pandas和numpy等库的函数，如defaultdict、Counter、value_counts、fillna、where和str.split。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

处理usa.gov数据

导入数据

import json
path = 'usagov_bitly_data2012-03-16-1331923249.txt'
records = [json.loads(line) for line in open(path)]

对时区进行计数

因为不是所有记录都有时区字段，所以必须加入if判断，否则报错。

# time_zones = [rec['tz'] for rec in records]
time_zones = [rec['tz'] for rec in records if 'tz' in rec]

计数函数

# 方法1
def get_counts(sequence):
    counts = {
   
   }
    for x in sequence:
        if x in counts:
            counts[x] += 1
        else:
            counts[x] = 1
    return counts
#  得到前10位的时区及其计数值   
def top_counts(count_dict, n=10):
    value_key_pairs = [(count, tz) for tz, count in count_dict.items()]
    value_key_pairs.sort()
    return value_key_pairs[-n:]

counts = get_counts(time_zones)
print (counts['America/New_York'])
print(len(time_zones))

# 方法2
from collections import defaultdict

def get_counts2(sequence):
    counts = defaultdict(int) # values will initialize to 0
    for x in sequence:
        counts[x] += 1
    return counts