机器学习笔记 - 大数据定义及相关工具

一、什么是大数据？

        Oracle给的定义，是高速(Velocity) 涌现的大量(Volume) 的多样化(Variety) 数据。

        简而言之，大数据是更大、更复杂的数据集，尤其是来自新数据源的数据。这些数据集非常庞大，传统的数据处理软件根本无法管理它们。但这些海量数据可用于解决您以前无法解决的业务问题。

二、大数据的三个 V

        有的课程会说5-6个V，(volume, velocity, variety, veracity, valence, and value)。

        Volume：组织从各种来源收集数据，包括交易、智能 (IoT) 设备、工业设备、视频、图像、音频、社交媒体等。过去，存储所有数据的成本太高——但使用数据湖、Hadoop 和云计算的更便宜的存储已经减轻了负担。

        Velocity：随着物联网的发展，数据以前所未有的速度流入企业，必须及时处理。RFID 标签、传感器和智能仪表正在推动近乎实时地处理这些数据洪流的需求。

        Variety：数据有各种格式——从传统数据库中的结构化数字数据到非结构化文本文档、电子邮件、视频、音频、股票行情数据和金融交易。

三、为什么大数据很重要

        大数据的重要性不仅仅在于您拥有多少数据。价值在于你如何使用它。通过从任何来源获取数据并对其进行分析&#x