HouLei

开发环境：Linux + Intellij IDEA(IDE) +SBT（Simple Build Tool）(项目管理工具) 和 Maven + 持续集成：Jenkins（Jenkins是基于Java开发的一种持续集成工具，用于监控持续重复的工作）Spark 基于内存，图调度，算子简单。 scalaH2O 预测分析的平台Flink 做流处理的平台 （也可做批处理）Mahout架构...

1.安装vnware2.安装ubuntu3.安装jdk4.安装hadoop

一、公共部分（离线和在线都可使用）1.参数设置 redis的参数 kafka的参数package com.dylan.recom.common;public final class Constants { public static final String REDIS_SERVER = "master"; public static final String KAFKA_SER...

推荐系统数据user 用户基本信息item 产品信息user行为 用户访问日志（不同行为存在不同机器上和系统上）分散的数据源（由不同系统组件产生，部署在不同机器上）：用户访问日志用户购买日志用户收藏日志用户搜索日志日志收集：Flume/ /Scribe （日志排序）关系型数据：用户注册信息：保存在关系型数据库MySQL、Oracle等传统数据库与Hadoop 同步。数据收...

推荐平台基本架构HDFS 日志数据MySQL Oracle 结构化数据 JDBG数据源MapReduce : mahout Spark:ml、mllib（从HBase中读取数据）HBase:：数据做选择， 数据需要大数据平台，能建模，能大规模数据访问。 （表结构）服务层前有redis 内存的存储。（生成的推荐的列表）Web Service 图形展示结果数据加载数据...

一、概述MLLib 是基于Spark 引擎实现的机器学习算法库良好的扩展性和容错性充分利用了Spark 扩展性和容错性属于Spark 生态系统重要组成部分实现了大部分常用的数据挖掘算法（1） 聚类算法（2）分类算法（3）推荐算法MLlib协同过滤实现：ALS推荐流程加载数据集将数据集解析成ALS要求的格式将数据集分割成两部分：训练集和测试集运行ALS，产生并评估模...

一、推荐模型构建流程：1.data 分类：显性和隐性2.data转成计算机data ：Item – user 矩阵。评分为里面的data3.算法基于内容过滤从信息检索，和文本检索发展而来基于商品描述及用户喜好描述，为用户推荐商品协同过滤基于用户行为为用户推荐感兴趣的商品行为可以是过往的交易行为和商品评分，这种方式不需要显性的属性信息混合推荐基于内容和协同过滤的对比：...

1 用户画像用户画像是对现实世界中用户的数学建模。挑战：1.记录和存储亿级数据用户的画像；2.支持和扩展不断增加的维度和偏好；3.毫秒级更新；4.支撑个性化，广告投放和精细化营销等产品。前三个可以用hadoop来解决，3可以用spark二、用户画像系统三、用户画像处理流程1、明确问题和了解数据追求数据和需求的匹配明确需求：分类、聚类、推荐、。。。数据的规模...

一、介绍大数据 3V1.海量数据 Volume2.更新频率高 Velocity3.图像，文本，语言 非结构画数据 VarietyLambda架构1.Lambda系统架构提供了一个结合实时数据和Hadoop预先计算的数据环境的混合平台，以提供一个实时的数据视图。2.分层架构：批处理层、实时处理层、服务层批处理：批处理主要操作大容量静态数据集，并在计算过程完成后返回结果。流式处理...

的