大数据简介与概论

第1章 大数据概念

大数据概念：

大数据(Big Data):指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的海量数据集合，是需要全新处理模式才能具有更强的决策力、洞察发现力、及流程优化能力的海量、高增长率和多样化的信息资产

大数据主要解决，**海量的数据采集、存储和分析计算问题

数据量可达 TB、PB、EB 级别

第2章 大数据特点（4V）

1、Volume 大量
截至目前，人类生产的所有印刷材料的数据是200+PB,而历史上人类总说过的话数据量大约是5EB。当前，典型个人计算机硬盘的容量为MB\GB量级，而一些大企业的数据量已接近EB量级，国内如BTAJ等
2、Velocity 高速
这是大数据区分与传统数据挖掘的最显著的特征、截至目前为止，全球数据使用量将达到170ZB+。在如此海量的数据前面，处理数据的效率和治理能力就是企业的生命
3、Variety 多样
多类型数据也被分为结构化数据、非结构化数据。相当以往便于存储的以数据库、文本为主的结构化数据。而非结构化数据也越来越多、包括网络日志、音频、视频、图片、地理信息等，此类型数据对数据处理能力提出了更高的要求
4、Value 低价值密度
价值密度的高低与数据总量的大小成反比。在海量数据中，真正存在价值的数据可能往往就很低

第3章 大数据应用场景

1、抖音：推荐的都是你喜欢的视频，或你感兴趣的同类型视频
2、电商站内广告推荐，给用户推荐可能喜欢的商品。比如说你买了一台笔记本，推荐的内容则会是一些键盘、鼠标等商品，定向推荐！
3、零售、分析用户消费习惯，为用户购买商品提供方便，从而提高商品销量。
4、物流仓库：如京东、顺丰等，上午下单下午配送，下午下单次日送达。可根据区域定向出仓，从而减少配送时间
5、保险：海量数据挖掘及风险预测，助力保险行业精准推销，提升精细化定价、定制能力。从而提高销售额！
6、金融：多维度体现用户特征，帮助金融机构推荐优质客户，防范欺诈风险。
7、房产：大数据全面主力房地产行业，打造精准投策和营销，选出更合适的地，建造更合适的楼房，卖给更需要的人(手动狗头)！
8、人工智能+5G+物联网+虚拟与现实，等都离不开大数据的基石基础。如：柯洁和Alphago，Alphago也离不开海量数据的模拟和运算

第4章 大数据发展前景

1、党的十九大提出 推动物联网、大数据、人工智能和实体经济深度融合
2、2020年初，中央推出34万亿，新基建投资计划：
5G投资规模可达3000+亿元，数据中心可达1000+亿元，人工智能可达 350+亿元，工业互联网可达100+亿元等一系列投资！！
3、下一个风口：
2020年是5G的元年，国家大力铺设5G 设备，2021年就是5G手机应用的开始，也是大数据要爆发的一年。5G带来的是每秒钟10g+的数据，会给每家公司都带来海量的数据。那么传统的语言工具，列如Java，Go等高等语言工具解决不了海量数据的存储。更不用说海量数据的计算和治理了。在我们对5G感触不深的情况下，我们可以回忆一下3G和4G的区别。在所处的3g时代，人们只能通过手机打电话，发短息，彩信等，当时觉得还很好，觉得3G不错。但是4G来了后，大家很少打电话和发短信了，都改为语音、视频、直播、网上购物等生活方式，可以说完全改变了人们的生活状态，从而也带动了淘宝、京东、美团、字节跳动等企业。没有跟上节奏的百度，则有点摇摇欲坠！！
4、人才紧缺、竞争力小
有句话叫：“选择大于努力” 选择一个好的方向，少奋斗十年。是否记得国家在2017年才开设大数据课程，当时为北京大学，人民大学等25所高校开设第一批大数据课程，如今才2022年。也就是毕业才一两年左右，像Java，前端等大学课程已经开设了很多年了，包括外部培训班加在一起，10多年的生涯，可想而知目前市场上，Java、前端、等人才有多少，基本属于一个萝卜一个坑。
5、boss直聘网站上的部分大数据工程师薪水在15-50+左右

第5章 大数据部门间业务流程分析

大数据部门间业务流程分析略图：由数据采集到数据入库、统计、再到数据的计算和可视化展示等应用

第6章 大数据部门内组织结构

大数据部门组织结构:包括但不限于如下
平台组：Hadoop、flume、Kafka、Hbases、spark等相关大数据组件框架平台搭建，集群性能监控、集群性能调优等
数据仓库组：ETL工程师，负责数据的清洗、转换、加载等相关工作。数据分析和数据仓库建模，例如建表等
实施组：实时指标分析性能调优
数据挖掘组：包括算法工程师、系统推荐工程师、用户画像工程师等
报表开发组：Java开发工程师，前端工程师等

待完结：不定时补充相关内容资料。date：2022-11-02
特别鸣谢：尚硅谷大数据开源资料