人工智能项目——推荐系统实战（一）

• 推荐系统

  • 概念

    • 信息过滤系统 解决信息过载 用户需求不明确的问题
    • 利用一定的规则给物品推序 展示给需求不明确的用户

  • 推荐 搜索区别

    • 推荐个性化较强，用户被动接受，希望能够提供持续服务
    • 搜索个性化弱，用户主动搜索，快速满足用户需求

  • 推荐和web项目区别

    • web 构建稳定的信息流通通道
    • 推荐 信息过滤系统
    • 推荐 结果是概率问题
    • web 对结果有明确预期

• 推荐系统的架构

  • 系统要素

    • UI与UE（前端界面）
    • 数据（Lambda架构）
    • 业务知识
    • 算法

  • 整体架构

    

    • 大数据Lanbda架构

      • 解决实时计算（数据相对比较小，可以快速反应）和离线计算（数据量太多需要一定时间才能完成）共同提供服务的问题
      • 离线/实时计算优劣
        • 离线：处理数据量大，延迟大
        • 实时：响应快，处理的数据量小
      • 涉及技术
        • 分层架构
          • 批处理层（离线）
            • data不可变，可进行任何运算，可水平扩展
            • 高延迟（计算量数据量不同so延迟不同）
            • 日志收集Flume
            • 分布式存储Handoop（数据量太大一个地方存不下要分布在多个地方存储）（数据分布式处理分布在n台电脑上so也可以在n台电脑上一起处理数据加快数据处理）
            • 分布式计算Hadoop MapReduce & spark
            • 视图存储数据库
              • nosql
              • Redis/memcache
              • MySQL
          • 实时处理层（在线）
            • 流式处理，持续计算