
大数据
Shwan_Ma
模式识别小硕,向大牛看齐!
展开
-
【大数据】海量数据处理方法
1、海量日志数据,提取出某日访问百度次数最多的那个IP。 首先是这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中。注意到IP是32位的,最多有个2^32个IP。同样可以采用映射的方法,比如模1000,把整个大文件映射为1000个小文件,再找出每个小文中出现频率最大的IP(可以采用hash_map进行频率统计,然后再找出频率最大的几个)及相应的频率。然后再在这1000个最...转载 2018-04-12 11:21:55 · 3133 阅读 · 0 评论 -
【大数据】pandas库中的列与索引之间的转换
本文转载于 https://www.cnblogs.com/hhh5460/p/7067928.html 准备数据 import pandas as pd from io import StringIO csv_txt = '''"date","player1","player2","score1","score2" "2017-06-05","张继科",转载 2018-05-06 10:32:28 · 8758 阅读 · 0 评论