大数据学习之大数据概述

数泛西舟

已于 2022-08-20 18:53:28 修改

阅读量949

点赞数 1

CC 4.0 BY-SA版权

文章标签：大数据学习

于 2022-08-14 15:38:00 首次发布

本文链接：https://blog.youkuaiyun.com/handsome1_/article/details/126331685

一、大数据的产生

大数据是物联网和元计算发展到一定阶段的必然产物。

大数据的产生是一个逐步发展的过程，现在的大数据是一个庞大的概念，大数据不仅代表数据量大，更代表了一系列数据价值化技术的总称。

目前基于大数据的场景化分析是大数据的主要应用之一，未来大数据将应用到更多的智能体系当中，为智能体提供决策支撑服务。目前人工智能的研究也逐渐以大数据为基础进行展开，未来大数据的应用领域将得到扩展。大数据本身也正在成为推动科技发展的主要驱动力，可以说未来谁掌握了数据，也就掌握了主动权。

二、大数据的概念

大数据：指无法再一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据主要解决，海量数据的采集、存储和分析计算的问题。

按顺序给出数据存储单位：TB PB EB

三、大数据的特点

1.Volume(大量)

截至目前，人类生产的所有印刷材料的数据量是200PB，而历史上全人类总共说过的话的数据量大约是5EB。当前，典型个人计算机硬盘的容量为TB量级，而一些大企业大数据量已经接近EB量级。

2.Velocity(高速)

这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告，预计到2025年，全球数据使用量将达到163ZB。在如此海量的数据面前，处理数据的效率就是企业的生命。

3.Variety(多样)

这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以数据库/文本为住的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高的要求。

4.Value(低价值密度)

价值密度的高低与数据总量的大小成反比。

如何对有价值数据“提纯”成为当前大数据背景下待解决的难题。

四、大数据的应用场景

1.抖音：推荐的都是你喜欢的视频

2.电商内的广告推荐：给用户推荐可能喜欢的商品

3.零售：分析用户消费习惯，为用户购买商品提供方便，从而提升商品销量。

4.物流仓库：京东物流，上午下单下午送达、下午下单次日上午送达

5.保险：海量数据挖掘及风险预测，助力保险行业精准营销，提升精细化定价能力

6.金融：多维度体现用户特征，帮助金融机构推荐优质客户，防范欺诈风险。

7.房产：大数据全面助力房地产行业，打造精准投资与营销，选出更适合的地，建造更适合的楼，卖给更合适的人。

8.人工智能+5G+物联网+虚拟与现实

······

五、大数据的发展前景

1.党的十九大提出“推动物联网、大数据、人工智能和实体经济深度融合”。

2.2020年初，中央推出34万亿“新基建”投资计划

"新基建"投资规模拆分
项目	2020年投资规模（亿元）
5G	3000
特高压	600
轨道交通	5000
充电桩	100
数据中心	1000
人工智能	350
工业互联网	100
合计	10150

3.大数据下个风口

2020年时5G建设的元年，国家在大力铺设5G设备，2021年就是5G手机应用的开始，也是大数据要爆发的一年。5G带来的是每秒钟10G的数据，会给每家公司都带来海量的数据。那么传统的Java工具根本解决不了海量数据的存储。就更不用说海量数据的计算了。如果你对5G的感触不够深，可以回忆一下3G和4G的区别。

4.人才紧缺

根据十四五规划，大数据产业测算规模突破3万亿，规模逐渐上升，预计到2025年，大数据核心人才缺口将达到230万人。大数据人才往往趋向于互联网和金融行业，而在传统制造业上面人才匮乏，这严重制约着制造行业产业升级和发展。