大数据GP

初心の GP

于 2021-11-29 13:52:50 发布

阅读量2.1k

点赞数

分类专栏：大数据文章标签：大数据

本文链接：https://blog.youkuaiyun.com/a318199328/article/details/121607842

版权

大数据专栏收录该内容

7 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

本文介绍了大数据的概念、主要解决的问题和4V特征，并详细阐述了大数据技术体系，包括数据采集（如Sqoop、Flume、Kafka）、数据存储（如Hdfs、HBase、Redis、Kafka）、资源管理（如YARN）、通用计算（如MapReduce、Spark Core）、数据分析（如Hive、Spark、Storm、Spark Streaming、Flink）、任务调度（如Azkaban）、数据可视化（如Superset）和分布式资源协调（如Zookeeper）。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、概念

传统数据处理应用软件不足以处理(存储和计算)它们的大而复杂的数据集。

二、主要解决

海量数据的存储和运算问题。

三、特征(4V)

容量大、种类多、速度快、价值高

1.容量(volume)：数据的大小决定所考虑的数据的价值和潜在的信息

2.种类(variety)：数据类型的多样性，包括：文本、图片、视频、音频
                结构化数据:可以用二维数据库表来抽象，抽取数据规律;
                半结构化数据:介于结构化和非结构化之前，主要指XML、HTML等;
                非结构化数据:不可用二维表抽象，如：图片、图像、音频、视频等

        3.速度(velocity)：指获取数据的速度以及处理数据的速度
                数据的生产呈指数式爆炸式增长;
                处理数据要求的延时越来越低

        4.价值(value)：合理运用大数据，一低成本创造高价值
                综合价值大，隐含价值大;
                单条数据记录无价值，无用数据多