机器学习与大数据基础知识（一）

大数据时代究竟改变了什么？

• 改变的是思维

• 增加了数据重要性：数据资源--->数据资产（增值）

• 改变了方法论：基于知识的理论完美主义--->基于数据的历史经验主义

• 改变了数据分析： 统计学（抽样）--->数据科学（大数据）

• 改变计算智能：复杂算法--->简单算法（MapReduce）

• 改变决策方面：基于目标决策--->基于数据决策

• 改变业务方面：基于业务的数据化--->数据主导业务

• 产业竞合：以战略为中心--->以数据为中心

大数据的4V特征

• 数据量大：数据量从TB增长到PB，ZB、使用HDFS分布式文件系统存储
• 数据种类多

        结构化的数据：Mysql为主的存储和处理

        非结构化数据：包括图形、音频等；使用 HDFS存储，使用MapReduce，Hive分析

        半结构化数据：包括XML，HTML；使用 HDFS存储，使用MapReduce，Hive，Spark分析

•     速度快

        数据的增长速度快:TB-PB-ZB、HDFS

        数据的处理的速度快：MR-Hive-Pig（结构化数据）-Impala；Spark-Flink（实时处理）

•     价值密度低

        价值密度=有价值的数据/全部数据。分母快速增长导致价值密度低，同时总价值提高

        机器学习算法解决价值密度低：构建模型

大数据与机器学习关系：大数据做基础的数据存储，数据的统计计算；机器学习从大量的数据里面挖掘有价值的数据

大数据项目架构-以电信日志分析为例

项目名称：电信日志分析系统

项目描述࿱