大数据算法（概述）

大数据算法的难度

• 访问全部数据时间过长
  读取部分数据 时间亚线性算法

• 数据难以放入内存计算
  将数据存储到磁盘上 外存算法
  仅基于少量数据进行计算 空间亚线性算法

• 单个计算机难以保存全部数据，计算需要整体数据
  并行处理 并行算法

• 计算机计算能力不足或者知识不足
  人来做（众包）

我们学习的hadoop、spark不过是解决了其中一个难题。我们整个笔记也是围绕上面几个问题来介绍相应的算法

大数据的算法设计技术

• 精确算法设计方法
• 并行算法
• 近似算法
• 随机算法
• 在线算法、数据流算法
• 外存算法
• 面向新型体系结构的算法（GPU）
• 现代优化算法

大数据的算法分析

• 时间空间复杂度
• io复杂度
• 结果质量
• 通讯复杂度