本文探讨了大数据的定义，包括数据量的巨大、非抽样分析和新处理模式的需求。大数据的特点包括高速增长率、多样性及对决策、洞察和流程优化的影响。大数据在预测、推荐和商业情报等领域有广泛应用。大数据问题解决涉及数据访问、内存限制和并行计算挑战。大数据算法并不局限于特定工具，如Spark和Flink，而是涵盖更广泛的技术范畴，包括并行处理和分布式计算。
大数据算法大家已经不陌生了，到研究生阶段听到最多的就是什么是大数据、大数据的特点，在这个大数据的背景下的算法有什么特点，是不是就是把spark、flink跑起来就叫大数据了，其实并不是这样的。
一、大数据的定义
1、定义1 (Kusnetzky, Dan. What is “Big Data?”)
所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、
管理、处理、并整理成为人类所能解读的信息
2、定义2 (维克托·迈尔-舍恩伯格、肯尼斯·库克耶.“大数据时代”)
不用随机分析法（抽样调查）这样的捷径，而采用所有数据的方法
3、 定义3 (“大数据”（Big data）研究机构Gartner)
“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力
和流程优化能力的海量、高增长率和多样化的信息资产。
二、大数据的特点
三、大数据的应用
- 预测
- 推荐
- 商业情报分析
- 科学研究
四、大数据上问题求解计算问题的过程
五、大数据算法
1、大数据算法的定义
在给定的资源约束下，以大数据为输入，在给定时间约束内可以生成满足给定约束
结果的算法。
2、大数据算法可以不是：
- 精确算法
- 内存算法
- 串行算法
- 仅在电子计算机上运行的算法
3、大数据算法不仅是：
- 云计算
- MapReduce
- 大数据分析和挖掘的算法
- 数据库中的算法
4、大数据算法的难度
(1)访问全部数据时间过长
读取部分数据
(2)数据难于放入内存计算
- 将数据存储到磁盘上
- 仅基于少量数据进行计算
(3)单个计算机难以保存全部数据，计算需要整体数据
并行处理
(4)计算机计算能力不足或知识不足
人来帮忙
扫一扫
481
到【灌水乐园】发言
