9、大数据分析与机器学习在云计算中的应用

大数据分析与机器学习在云计算中的应用

1. 大数据相关基础技术

1.1 社交媒体与服务

常见的社交媒体平台如 Facebook、LinkedIn、Twitter、YouTube 等。HTTP 和 REST 服务可用于为基于 Web 的应用程序创建 API，具有轻量级、高可扩展性和可维护性的特点，例如 Google Earth、USGS Geo Cloud 等应用就使用了这类服务。

1.2 大数据计算平台与云

大数据计算平台提供管理各种数据源所需的模块，如计算和数据感知调度、数据密集型编程模型、数据安全、分析、分布式文件系统和设备等。数据科学家可访问该平台进行分析和开发。计算云则提供所需的计算基础设施，包括来自私有、公共或混合云的虚拟/物理计算和存储资源。

2. 大数据云参考架构

大数据云参考架构为四层结构，该架构下的云基础设施需高效处理大规模存储、高可扩展性、复杂计算和网络基础设施。基础设施即服务提供商主要处理服务器、网络以及存储应用，并提供虚拟化、基本监控和安全、操作系统、数据中心服务器和存储服务等功能。以下是各层的详细介绍：
| 层次 | 名称 | 功能描述 |
| — | — | — |
| 第一层 | 大数据分析软件即服务（BDA - SaaS） | 以服务形式提供大数据分析，使用户无需投资基础设施即可快速进行分析，仅需为消耗的资源付费。具体功能包括组织软件应用程序存储库、在基础设施上部署软件应用程序、将最终结果交付给用户。 |
| 第二层 | 大数据分析平台即服务（BPaaS） | 作为架构的核心层，提供与存储的大数据相关的平台服务并进行计算。数据管理工具、调