可视化学习笔记01

一、大数据时代

• 短短几年间，大数据就以一日千里的发展速度，快速实现了从概念到落地，直接带动了相关产业井喷式发展。全球多家研究机构统计数据显示，大数据产业将迎来发展黄金期：IDC预计，大数据和分析市场将从2016年的1300亿美元增长到2020年的2030亿美元以上；中国报告大厅发布的大数据行业报告数据也说明，自2017年起，我国大数据产业迎来发展黄金期，未来2～3年的市场规模增长率将保持在35%左右。
• 数据采集、数据存储、数据挖掘、数据分析等大数据技术在越来越多的行业中得到应用，随之而来的就是大数据人才问题的凸显。麦肯锡预测，每年数据科学专业的应届毕业生将增加7%，然而仅高质量项目对于专业数据科学家的需求每年就会增加12%，完全供不应求。根据《人民日报》的报道，未来3～5年，中国需要180万数据人才，但目前只有约30万人，人才缺口达到150万之多。

二、大数据处理流程

• 数据采集[Data Collection]（人工采集、网络爬虫、系统日志……）$⟹$