大数据简介

1 定义

​ 大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处

理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

2 特点

大量，高速，多样，真实，低价

• 大量

  1GB = 1024 MB

  1TB = 1024 GB

  1PB = 1024 TB

  1EB = 1024 PB

  1ZB = 1024 EB

  1YB = 1024 ZB

  1BB = 1024 YB

  1NB = 1024 BB

  1DB = 1024 NB

  以PB为例，PB级数据量有多大？是怎样的一个概念？

  假如手机播放MP3的速度为平均每分钟1MB，而1首歌曲的平均时长为4分钟，那么1PB存量的歌曲可以连续播放2000年。

  1PB 也相当于50%的全美学术研究图书馆藏书咨询内容。

  （1）1986年，全球只有0.02EB也就是约21000TB的数据量

  （2）2007年，全球就是280EB也就是约300000000TB的数据量，翻了14000倍

  （3）近些年，由于移动互联网及物联网的出现，各种终端设备的接入，各种业务形式的普及，平均每40个月，全球的数据量就会翻倍！2012年，每天会产生2.5EB的数据量

  （4）基于IDC的报告预测，从2013年到2020年，全球数据量会从4.4ZB猛增到44ZB！而到了2025年，全球会有163ZB的数据量！

  全球的数据量已经大到爆了！而传统的关系型数据库根本处理不了如此海量的数据！

• 高速

  在大数据时代，数据的创建、存储、分析都要求被高速处理，比如电商网站的个性化推荐尽

  可能要求实时完成推荐，这也是大数据区别于传统数据挖掘的显著特征。

• 多样

  数据形式和来源多样化。包括结构化、半结构化和非结构化数据，具体表现为网络日志、音

  频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。

• 真实

  确保数据的真实性，才能保证数据分析的正确性

• 低价

​ 数据价值密度相对较低，或者说是浪里淘沙却又弥足珍贵。互联网发展催生了大量数据，信

​ 息海量，但价值密度较低，如何结合业务逻辑并通过强大的机器算法来挖掘数据价值，是大数据时

​ 代最需要解决的问题，也是一个有难度的课题。

3 应用场景

随着大数据的发展，大数据技术已经广泛应用在众多行业，比如仓储物流、电商零售、汽车、电

信、生物医学、人工智能、智慧城市等等领域，包括在疫情防控战中，大数据技术也发挥了重要的作

用。

• 仓储物流

大数据技术驱动了仓储物流领域的智能化发展，以苏宁为例，苏宁物流可在全国的各级仓库间实现

智能分仓、就近备货和预测式调拨，实现”客户需要的商品就在离客户最近的配送中心

• 电商零售

• 汽车

• 电信

• 生物医学

• 人工智能

• 智慧城市

4 大数据发展趋势及职业路线

1）2015年党的十八届五中全会提出“实施国家大数据战略”，国务院印发《促进大数据发展行动纲

要》，大数据技术和应用处于创新突破期，国内市场需求处于爆发期，我国大数据产业面临重要的发展

机遇。

2）2017年十九大报告明确 “推动互联网、大数据、人工智能和实体经济深度融合”。

3）2020年全国政协十三届三次会议新闻发布会上，更进一步强调：大数据、人工智能、5G是引领

未来发展的战略性技术。

显然，发展大数据是我国的战略性决策，前景自然不言而喻。