优酷土豆大数据团队的博客

Storm简介       apache开源社区项目Storm，是一款分布式实时计算系统。它之上的应用易于开发与部署。关于他们的介绍，请移步http://storm.apache.org/，那里有更官方且全面的介绍。 我们利用Storm擅长基于数据流并行计算的优势，弥补Hadoop在实时计算方面的缺憾。这些使用日志采集系统（比如基于Kafka或者Scribe）作为输入源计算出来的实时结果，将为

随着网站规模的扩大，内容也相应的与日俱增，涵盖的频道也越来越繁杂，在如此海量的信息平台下，如何更好的服务用户成了各门户网站的首要任务。从用户需求的角度考虑，对内容的判断标准无疑是用户对此内容是否感兴趣。“千人千面”算法在互联网行业已经不是个新鲜的词汇，但如何做到对用户兴趣的精准匹配仍是难点，特别是对图片、视频等非文本内容来说，因为本身缺乏描述性文本，因此兴趣标签成为一种非常重要的语义素材。本文主要介

这篇博客记录了个性化推荐组2015年下边年，在优酷土豆进行标签推荐算法的工作中的遇到的问题和一些方法上的尝试，另一方面也和各位分享下在做过的那些事儿和踩过的那些坑。

导致系统服务不可用的有诸多因素，大多数可以由外到内归结为以下几种： 1、高并发流量； 2、系统所依赖的第三方服务（数据库、缓存、接口等）； 3、系统软件中的bug和运行过程中的不稳定因素； 4、运行系统的硬件故障。 对于硬件故障导致的系统不可用，可以在负载均衡器中将该节点摘除，使流量都能在剩余节点中得到正常处理。本文中主要探讨在应用系统之中实现上述前三种情况的判定以及降级方式。

基于RNN的个性化电影推荐尝试随着深度学习在工业界的应用越来越多，优酷土豆尝试在视频推荐领域中利用深度学习方法，提高视频推荐的准确性，为用户提供优质的视频推荐服务。本次为大家分享在个性化电影推荐上的尝试，利用RNN的序列模型进行用户电影推荐。视频推荐问题目前常用的个性化推荐包括：基于关联规则的推荐算法、基于内容的推荐算法和基于协同过滤的推荐算法。在视频网站中的个性化推荐中，基于协同过滤的个性化推荐算

在相关推荐项目的改版中，对liblinear/fm/xgboost等主流成熟算法模型的训练效果进行了尝试和对比，并在一期改造中选择了liblinear实际上线使用。本文主要从工程应用的角度对liblinear涉及的各模式进行初步介绍，并给出liblinear/fm/xgboost的实际评测结果供参考。 1.      Liblinear说明考虑到训练效率，本次选用的为多线程并行版lib