大数据学习week1

原创已于 2022-03-13 18:48:17 修改 · 1.9k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

于 2022-03-13 18:39:08 首次发布

本文介绍了大数据的基本概念，包括其三大特征：体量、多样性和价值。大数据的快速增长使得需要Hadoop这样的平台来处理。数据分析是为商业目标服务的数据收集、整理、加工和分析过程。在Hadoop生态系统中，Namenode负责元数据管理，而Datanode处理数据存储，两者不放在同一节点以确保数据安全和系统稳定性。此外，还探讨了并发与并行的区别。学习回顾中提到了NameNode与DataNode的关系以及HDFS的相关操作。

大数据学习week1

什么是大数据

什么是大数据

大数据是一个一个描述大量高速，复杂和可变数据的术语，需要先进的技术来实现信息的捕获，存储，分发，管理和分析。

大数据的特征

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

Volume(体量) – 90% created in the last 2ys. 50% in Hadoop after 5ys (百分之90的数据在过去二年产生，未来有百分之50的数据会在Hadoop这个平台)；
Volume(体量) – 90% created in the last 2ys. 50% in Hadoop after 5ys (百分之90的数据在过去二年产生，未来有百分之50的数据会在Hadoop这个平台)；
Variety – Multiple data formats (数据格式)；
Value – The knowledge gained by exploring data (通过探索数据获得的知识)；

数据分析定义及特征

定义：

数据分析是基于商业目的的，有目的的进行收集、整理、加工和分析数据，提炼有价值信息的过程。

特征：

1.Time-based
A piece of data is something known at a certain moment in time, and that time is an important element (数据产生的时间是一个重要的元素)；
2. Immutable
Because of its connection to a point in time, the truthfulness of the data does not change. We look at changes in big data as new entries, not updates of existing entries (数据的真实性不会改变。我们将大数据的变化视为新条目，而不是现有条目的更新）；