- 博客(4)
- 收藏
- 关注
RSS订阅
1原创 数据分析笔记(1)
数据：是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质状态以及相互关系等进行记载的物理符号或这些物理符号的组合进入到 21 世纪以后，伴随着互联网的迅速发展，大数据应运而生，越来越多的数据被不断的挖掘出来，形成了“数据为王”的时代。每个人每天其实都在产生大量数据，也在消费大量数据，比如打开计算机、浏览新闻、写邮件等。每个人每天都会产生大量的数据，但很多都是无用的。随着数据规模越来越庞大，单靠人力重复的脑力劳动已经无法跟上行业的发展态势，人类的智慧应该更多应用于决断与选择层次，而让数据分
2022-05-15 20:44:26
742
原创 Benchmark笔记（1）--Ubuntu上使用HiBench对Hadoop集群进行基准测试
HiBench 是一个大数据基准套件，可帮助评估不同的大数据框架的速度、吞吐量和系统资源利用率。它包含一组 Hadoop、Spark 和流式工作负载，包括 Sort、WordCount、TeraSort、Repartition、Sleep、SQL、PageRank、 Nutch indexing、Bayes、Kmeans、NWeight 和增强型 DFSIO 等。它还包含多个用于 Spark Streaming 的流式工作负载、Flink、Storm 和 Gearpump。hibench作为一个
2022-05-15 18:09:38
1290
原创 Benchmark笔记
一、Benchmark的概念Benchmark是一个评价方式，在整个计算机领域有着长期的应用。正如维基百科上的解释“As computer architecture advanced, it became more difficult to compare the performance of various computer systems simply by looking at their specifications.Therefore, tests were developed that al
2022-05-14 23:00:30
1125
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人