用Python实现地点推荐系统
##写在前面
之前没有学过Python,课程要求参加数据挖掘比赛,选了DataCastle上的一个地点推荐系统。
初入门的时候看到Python的各种功能不知所措,什么Pandas、Sklearn、Numpy之类的头很大。除了讲原理的课本之外,参考书也陆陆续续买了几本,什么*《Python数据分析与挖掘实战》、《Python基础教程(第二版)》*之类的书,看的也是很磨人。
选择的这个地点推荐系统,相比而言做的人比较少,比赛论坛的参考资料也不多,因此准备写篇文章好好梳理一下自己学习的过程,为后来学习数据挖掘和推荐系统的同学们做个介绍。
感谢优快云的各位大神,看了许多博客真是让我受益匪浅。
如Thinkgamer的《<推荐系统>基于用户和Item的协同过滤算法的分析与实现(Python)》
##题目分析
首先对本赛题进行分析,题目要求对每个用户推荐50个可能去的地点,想到可以通过KNN进行相关性的计算,推荐最相似的邻居。
评分标准是计算平均截断召回率。
R e c a l l = 1 M ∑ u ∣ V u ⋂ S u ∣ V u Recall = \dfrac{1}{M}\sum^u\dfrac {|V_u\bigcap S_u|}{V_u} Recall=M1∑uVu∣Vu⋂Su∣
##数据处理
两个文件,一个是mappedpoiinfo.txt,用于记录地图上各地点的详细信息;一个是train.txt用于记录用户与地点的关系。地点信息中的每个地点信息:地点ID,纬度,经度,所在城市,粗类别(有缺失),细类别(有缺失)。
用户信息中的每一行:用户ID,地点ID,访问次数(本题中访问次数均为1)
##算法选择
在此参考了Thinkgamer博文中的KNN算法,利用Pearson矩阵
##代码实现
# -*-coding:utf-8-*-
import csv
import numpy as np
import pandas as pd
from math import sqrt
from pandas import Series, DataFrame
fp = open(