影子的博客

　　下面对上篇《推荐系统架构及流程说明》中提到的相关工具做个简单介绍。 　　 1、Lambda架构 　　Lambda架构的目标是设计出一个能满足实时大数据系统关键特性的架构，包括有：高容错、低延时和可扩展等。Lambda架构整合离线计算和实时计算，融合不可变性（Immunability），读写分离和复杂性隔离等一系列架构原则，可集成Hadoop，Kafka，Storm，Spark，Hbase...

技术架构图 索引的创建根据文件来源，分为hadoop数据和oarcle数据两类。 （1） hadoop数据 在线网盘的文本文件和非文本文件都保存在hadoop的hdfs或hbase数据表中，推荐系统的网页文件也保存在hbase表中。这些文件通过tika、Jsoup等文本提取或文本解析工具将文件名、文本内容、网页文字内容等可索引数据解析出来保存在hbase表的对应字段中，然后通过ES-...

　　个性化推荐系统，实现了新闻、二手信息等多种类型的信息的个性化推荐，每一个用户都会拥有属于自己的个性化推荐列表。下面简单介绍推荐架构及推荐流程。 　　本推荐架构参照Lambda架构，分为三层：批处理层、实时处理层和服务层。 　　（1）批处理层：主要组件是HDFS、Hbase和Spark MLlib。持久化的历史数据、静态数据保存于Hbase或HDFS；应用程序使用Spark MLlib机...