7、大数据领域的发展现状与未来趋势

大数据领域的发展现状与未来趋势

1. 开源与云服务在大数据中的应用

1.1 开源软件的兴起与商业支持

开源软件由于其免费使用的特性，吸引了众多用户。许多商业供应商采用“免费增值”模式来竞争，即个人使用或处理少量数据免费，但部门级或大量数据使用则需付费。采用开源技术的企业随着时间推移需要商业支持，例如 Cloudera、Hortonworks 和 MapR 为 Hadoop 提供支持，DataStax 为 Cassandra 提供支持，LucidWorks 为 Apache Lucerne 提供支持。

1.2 云服务的发展趋势

1.2.1 数据量增长与处理复杂性增加

如今，数据量几乎每年翻倍，不仅来自人类产生的照片、推文、点赞和邮件等，还来自机器产生的服务器、汽车、飞机、手机等设备的状态更新信息。数据量的增加导致处理复杂性上升，包括数据集成、理解和获取洞察等方面，同时也带来了数据安全和隐私风险。此外，企业现在希望将内部数据（如销售数据）和外部数据（如品牌情绪或市场研究数据）整合起来，以获取更多洞察。

1.2.2 企业向云端迁移

企业正将计算和处理工作转移到云端，通过互联网按需获取所需功能，而不是购买硬件和软件并在自己的数据中心安装和维护。Salesforce.com 开创了软件即服务（SaaS）模式，通过“无软件”的客户关系管理（CRM）解决方案在网络上交付应用程序，并不断拓展相关生态系统。亚马逊的 Amazon Web Services（AWS）则为按需基础设施服务铺平了道路，提供云计算和存储服务。AWS 不断增加按需基础设施服务，如 Amazon Elastic MapReduce（