pyspark统计access访问日志中ip的归属地（用本地ip地址库）

本地ip地址库：不足之处便是数据不准确，而且数据变化不能实时更新。

第三方ip地址接口：解决了上面的问题，但是查询量太大的话会拒绝服务。

本实例演示的是本地ip地址库，数据格式为：（下载地址：https://download.youkuaiyun.com/download/wangjiadongge/10644936）

62610,1034939648,61.175.237.0,1034939657,61.175.237.9,浙江省金华市
62613,1034939660,61.175.237.12,1034939669,61.175.237.21,浙江省金华市
62615,1034939671,61.175.237.23,1034939737,61.175.237.89,浙江省金华市
62617,1034939739,61.175.237.91,1034939749,61.175.237.101,浙江省金华市

访问日志一般第一个就是ip地址：

from pyspark import SparkConf,SparkContext
from functools import reduce
conf=SparkConf().setAppName("getiplocal").setMaster("local[*]")
sc=SparkContext(conf=conf)

#指定从哪里读取数据
rdd1 = sc.textFile("hdfs://spark1:9000/hadoop/data/ip_pool.data")

#定义一个用于map的函数
def fun1(x):
    a = x.split(",")
    startNum = int(a[1])
    endNum= int(a[3])
    county = a[5]
    return startNum,endNum,county
rdd2 = rdd1.map(fun1)
iprules = rdd2.collect()  #广播不能直接传入rdd，必须收集到executor中的数据以后才能传入driver
broad = sc.broadcast(iprules)


#ip2long函数
def ip2long(ip_string):
     return ip_string.find('.') != -1 and reduce(lambda a, b: a << 8 | b,map(int,ip_string.split("."))) or ip_string

#binarysearch函数
def binary_search(tuple_list, ip):
    left, right = 0, len(tuple_list) - 1
    while left <= right:
        mid = (left + right) // 2  #python2.x只用一个/表示取整数商，而python3.x需要用两个/，用一个会变为float小数点类型。
        if ip <= tuple_list[mid][1] and ip >= tuple_list[mid][0]:
            return mid
        elif ip < tuple_list[mid][0]:
            right = mid - 1
        else:
            left = mid + 1
    return ip

#定义一个用于map的函数
def fun2(y):
    a =y.split(" ")
    ip = a[0]
    ipNum = ip2long(ip)
    r = broad.value  #获取executor中的规则
    index = binary_search(r,ipNum)
    if index != ipNum:
        provice = iprules[index][2]
        return ((ip,provice),1)
    else:
        return (ipNum,1)

#获取accesslog中的ip地址
access1 = sc.textFile("hdfs://spark1:9000/hadoop/logs/mengyou/download_access.log")
access2 = access1.map(fun2).reduceByKey(lambda a,b:a+b).sortBy(lambda x:x[1],False).map(lambda x:(x[0][0],x[0][1],x[1]))
#access2.saveAsTextFile("hdfs://spark1:9000/hadoop/result/116")
print (access2.collect())