集体智慧编程第二章匹配商品_movies = transformprefs(critics)-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_27469517/article/details/53931765

我们在前面学习了如何为指定人员寻找品味相近的人，以及如何向其推荐商品。但是如果我们想了解哪些商品是彼此相近的，应该如何做？

匹配商品

比如我们去淘宝，点击某个商品的时候，侧面总会给我们推荐一些类似商品。这是如何做到的呢？

首先我们要将之前的：{'Person':{'movie':score}} 的形式换成 {'Movie':{'person':score}}

用下列代码实现：

#这个函数就是将字典里面的人员和物品对调
def transformPrefs(prefs):
    result = {}
    for person in prefs:
        for item in prefs[person]:
            result.setdefault(item, {})
            #将物品和人员对调
            result[item][person] = prefs[person][item]
    return result

然后运行代码中添加：

print '\n=========================================='
print 'topMatches-Superman Returns'
movies = recommendations.transformPrefs(recommendations.critics)
print recommendations.topMatches(movies, 'Superman Returns')

可以看出结果：

现在我们就得到了一组与《Superman Returns》最为相近的电影。但是有一些相关评价值为负数，这说明喜欢《Superman Returns》的人，存在不喜欢《Just My Luck》的倾向。我们还可以为影片推荐评论者。

添加运行代码：

print '\n=========================================='
print 'getRecommendations'
movies = recommendations.transformPrefs(recommendations.critics)
print recommendations.getRecommendations(movies, 'Just My Luck')

当然，书上也强调了对调人和物不一定总是有意义的。但是大多数情况下，这都有助于做出对比。

=============================================================================

构建一个基于 del.icio.us 的链接推荐系统

这一节我们将学习如何从在线书签网站上面获得数据，如何利用这些数据查找用户，并向他们推荐以前没看过的链接。

这个网站的网站是 http://del.icio.us

通过 API 访问 del.icio.us 网站获得的数据是以 XML 格式返回的，我们先要安装一些东西。

~~书上给出了两个链接，下载已经写好了的 API：~~

~~https://code.google.com/p/pydelicious/source~~

~~http://oreilly.com/catalog/9780596529321~~

当然我跟我一步一步来更简单：

1.进入网站 https://pypi.python.org/pypi/feedparser#downloads 下载 feedparser 5.2.1 这个库，注意是 feedparser-5.2.1.zip

2.用winRAR打开，解压到桌面，在 PowerShell 里面各种 cd 进入解压文件夹，输入

python setup.py install

feedparser安装完毕
3.进入网站 https://pypi.python.org/pypi/pydelicious 下载 pydelicious 0.6.1。下载文件为：pydelicious-0.6.1.tar.gz

4.用winRAR打开，解压到桌面，进去再次解压 pydelicious-0.6.1.tar ，在 PowerShell 里面各种 cd 进入解压文件夹，输入

python setup.py install

pydelicious安装完毕

好了，安装完毕我们继续下一步走起。

跟着教材走，建立一个 run2.py：

import pydelicious
print pydelicious.get_popular(tag = 'programming')

运行发现：

吃屎啊...怎么破？

书上还给了两个选择，这里选择用 Dorisa 用户为例：

print pydelicious.get_userposts('dorisa')

然后还是不行。
delicious.com/rss 破网站真的有毒，十有八九被墙了。

于是我决定死马当成活马医，继续跟书走吧。

============================================================

构造数据集

主要是下载一个子集信息。

新建一个 deliciousrec.py 文件：

# -*- coding:utf-8 -*-
# deliciousrec.pydelicous
from pydelicious import get_popular, get_userposts, get_urlposts

# 执行这个代码活的一个包含若干用户数据的字典，其中每一项都各自指向一个等待填入具体链接的空字典。
def initializeUserDict(tag, count = 5):
    user_dict = {}
    # 获取前 count 个最受欢迎的链接张贴记录
    for p1 in get_popular(tag = tag)[0:count]:
        for p2 in get_urlposts(p1['href']):
            user = p2['user']
            user_dict[user] = {}
    return user_dict

# 只有两种评价值：
# 0：用户没有张贴这一链接
# 1：用户张贴了这一链接
def fillItem(user_dict):
    all_items = {}
    # 查找所有用户都提交过的链接
    for user in user_dict:
        for i in range(3):
            try:
                posts = get_userposts(user)
                break
            except:
                print "Failed user '+user+', retrying"
                time.sleep(4)
        for post in posts:
            url = post['herf']
            user_dict[user][url] = 1.0
            all_items[url] = 1
    # 用 0 填充缺失的项目
    for ratings in user_dict.values():
        for item in all_items:
            if tiem not in ratings:
                ratings[item] = 0.0

利用这个函数构造一个数据集，类似之前的影评字典：

# -*- coding:utf-8 -*-
# run deliciousrec.py
from deliciousrec import *
delusers = initializeUserDict('programming')
delusers ['tsegaran'] = {} # 如果你也是用 delicious，则将自己也加入字典中
fillItems(delusers)

这里的第三行代码将用户 tsegaran 添加到了列表中。假如你也是使用 del.icio.us，则不妨以自己的名字来替换 tsegaran。

然后对于 fillItems 的调用要花费几分钟的时间来执行，因为要向网站发起数百个请求。

当然对于网站被墙来说并无卵用。

=============================================================================

推荐近邻与链接

为了随机选择一个用户，并且找出与其品味相近的其他用户，在 run2 里面添加代码：

import random
user = delusers.keys()[random.randint(0, len(delusers) - 1)]
print user
print recommendations.topMatches(delusers, user)

也可以通过调用 getRecommendations 函数为该用户获取推荐链接。

print recommendations.getRecommendations(delusers, user)[0:10]

也可以依据链接来搜索：

url = recommendations.getRecommendations(delusers,user)[0][1]
print recommendations.topMatches(recommendations.transformPrefs(delusers), url)

这样我们就给网站增加了一个推荐引擎。

=============================================================================

基于物品的过滤

刚刚的方法对于上千的用户和物品规模是没问题的，对于像淘宝亚马逊这样的网站，把单个用户和其他所有用户比较太慢了。之前我们采用的方法叫做基于用户的协作型过滤，此外，还有一种方法叫做基于物品的协作型过滤。在大数据情况下，这种方法能得出更好的结论。

总体思路就是为每件物品预先计算好最为相近的其他物品。区别在于物品间的比较不会像用户间的比较那么频繁变化。

=============================================================================

构造物品比较数据集

为了对物品比较，在 recommendations.py 里面加入：

def calculateSimilarItems(prefs, n = 10):
    # 建立字典，以给出与这些物品最为相近的所有其他物品
    result = {}
    # 以物品为中心对偏好矩阵实施倒置处理
    itemPrefs = transformPrefs(prefs)
    c = 0
    for item in temPrefs:
        # 针对大数据集更新状态变量
        c += 1
        if c % 100 == 0:print "%d / %d" % (c, len(itemPrefs))
        # 寻找最为相近的物品
        scores = topMatches(itemPrefs, item, n = n, similarity = sim_distance)
        result[item] = scores
    return result # 返回一个包含物品及其最相近物品列表的字典

先对反映评价值的字典倒置处理，从而得到一个有关物品及其用户评价的列表。然后程序循环遍历每个物品，并且把转换了的字典传入 topMatches 函数中，求得最为相近的物品及其相似度评价值。

在 run1.py 添加：

print '\n=========================================='
print 'itemsim'
itemsim = recommendations.calculateSimilarItems(recommendations.critics)
print itemsim

这里结果很有意思，书上第一个是0.4，而我计算的则是0.44。仔细检查发现书上的示例代码中 sim_distance 函数的返回值如果不加 sqrt 的话就是一致的。归根结底应该是书上的代码有点问题。

以上是结果。

=============================================================================

获得推荐

现在我们可以在不遍历整个数据集的情况下，利用反映物品相似度的字典给出推荐。具体数学方法参见书上。

在 recommendations.py 里面加入：

def getRecommendedItems(prefs, itemMatch, user):
    userRatings = prefs[user]
    scores = {}
    totalSim = {}
    # 循环遍历由当前用户评分的物品
    for (item, rating) in userRatings.items(): # dict.items() 此方法返回元组对的列表。
        # 寻遍遍历与当前物品相机的物品
        for (similarity, item2) in itemMatch[item]:
            # 如果该用户已经对当前物品做过评价，则将其忽略
            if item2 in userRatings: continue
            # 评价值与相似度的加权之和
            scores.setdefault(item2, 0) # setdefault 见前面注释
            scores[item2] += similarity * rating
            # 全部相似度之和
            totalSim.setdefault(item2, 0)
            totalSim[item2] += similarity
        # 将每个合计值除以加权和，求出平均值
    rankings = [(score / totalSim[item], item) for item, score in scores.items()]
        # 按最高值到最低值的顺序，返回评分结果
    rankings.sort()
    rankings.reverse()
    return rankings

run1.py:

print '\n=========================================='
print 'getRecommendedItems'
print recommendations.getRecommendedItems(recommendations.critics, itemsim, 'Toby')

结果：

可以看出推荐物品排行。

=============================================================================

使用 MovieLens 数据集

从 http://www.grouplens.org/node/73 下载 MovieLens 数据集。注意下载的是小的数据集，十万数据的那个。

解压打开文件，我们主要关心的是 movies.csv 和 ratings.csv ，前者包含了一组有关影片ID和片面的列表，后者是实际评价情况。

每位用户都对较多影片做出过评价。在 recommendations.py 中新建一个方法，取名 loadMovieLens，用以加载数据。

def loadMovieLens(path = 'MovieLens-latest-small/ml-latest-small'):
    # 获取影片标题
    movies = {}
    for line in open(path + '/movies.csv'):
        (id, title, genres) = line.split('|')[0:2] # 这里文件中第三列是影片类型，略作修改
        movies[id] = title # 把 title 和 id对应
    # 加载数据
    prefs = {}
    for line in open(path + '/ratings.csv'):
        (user, movieid, rating, ts) = line.split('\t') # 分割
        prefs.setdefault(user, {})
        prefs[user][movies[movieid]] = float(rating)
    return prefs

很遗憾，就卡在了这一步。这里读不出来。也不知道是哪里出错了。

虽然止步于最后一步，但是基于用户和基于物品的推荐大概方法已经过了一遍。

文末还指出，对于稀疏数据集，基于物品的过滤方法通常要优于基于用户的过滤方法，对于密集数据集则两者差不多。