大数据系统计算的概念全面解析

　1  引言

　　大数据是新一代信息技术的核心方面和竞争前沿，也是制约大数据产业快速发展的关键瓶颈。大数据技术创新能力已经成为后信息时代衡量国家竞争力的重要指标。与传统信息产业的发展过程相似，大数据必将逐渐形成一个相对独立、体系完善的产业形态，完成传统信息产业的升级换代。互联网和云计算的发展过程与趋势已经证明，大数据未来的产业形态将是以服务为核心的新型产业形态，大数据产业体系的各个环节将提供极为丰富的服务。

　　大数据是国家、社会和产业在后信息时代的战略性资源，以大数据为核心支撑的新一代信息技术与应用（如互联网+、物联网、智慧城市、智能制造等）利用大数据资源的手段和工具，为社会提供信息服务，其最终目的是利用大数据解决科学研究、社会管理、产业发展等一系列实际问题，从而在战略决策、运营管理、终端服务等不同层面和环节提升效能与效益，形成新的核心竞争力。当前，全社会数据产生越来越快、积累越来越多，大数据资源越来越丰富，而现有的信息技术已经跟不上数据的发展，特别是对大数据的处理、分析与应用已经成为全球性问题，引起了各国政府和产业界的高度重视。

　　大规模且高复杂性的大数据，其处理时间、响应速度等都有明确且具体的要求，这对计算平台的架构、计算模型的框架、共性技术等提出了更高的要求。传统的以计算速度为优先的设计理念已经不能满足当前大数据时代的处理需求，新计算平台的研发、框架设计和共性技术开发等需要兼顾效率与效能的双重标准，同时兼顾大数据类型多、变化快、价值稀疏的特性。

　　2  大数据系统计算技术现状与问题

　　大数据计算平台是大数据的硬件与系统基础，对大数据的所有分析与处理都需要在高性能的计算平台上进行；共性技术是大数据分析与处理的知识与技术基础，所有的大数据系统都涉及数据采集、传输、存储、处理和分析过程中的多项共性的技术；典型的应用可以用来验证计算平台和共性技术的可行性与执行效率，并为相近应用的研发提供借鉴。

　　经过近几年的快速发展，大数据已经形成从数据采集、数据处理到数据分析的完整产业，为社会经济的发展提供有力的数据支持。然而技术的发展赶不上数据数量和形式的变化速度，这需要大数据研发和从业人员不断努力来适应新情况。下面从计算平台、共性技术和应用3个方面对大数据的技术现状及存在的问题进行阐述。

　　2.1 大数据计算平台现状及存在的问题

　　大数据计算平台是大数据产品体系的核心龙头。大数据计算平台以云计算为基础环境、以服务模式为总体架构，覆盖大数据应用全过程，支持多源异构海量数据的采集、存储、集成、处理、分析、可视化展现、交互式应用，涉及企业大数据产品体系的各个层面，为各层产品实现提供关键技术支撑。

　　当前，面向信息服务的大数据计算平台还远不成熟，平台优化和节能等关键技术有待突破，面临的问题主要包括以下几个方面。

　　● 平台研发需要交叉学科知识。由于大数据计算平台环境复杂，要提高大数据计算平台的处理能力、优化平台性能和降低能耗、提高平台的安全性和隐私保护，需要多学科、多种专业背景的科研人员协同创新、联合攻关，才能实现技术突破。平台研发需要交叉学科知识。

　　● 平台研发人才缺乏。由于大数据应用在许多行业属于新生事物，虽然很多企业管理者认识到了大数据的潜在价值，但还处于观望状态，不愿冒风险做领先者；多数企业缺少大数据技术和应用人才，也缺少大数据应用的技术平台，无法开展实际应用项目；目前大数据技术还很不成熟，很多是开源软件，实施应用项目成本高、风险大。企业、科研机构和大学协同创新是突破行业示范应用障碍的有效途径。

　　● 平台框架需要突破。大数据计算平台的处理和分析能力主要依赖分布式计算框架来完成。分布式计算框架不仅要提供高效的计算模型、简单的编程接口，还要具备容错能力和高