23、大数据：云端数据密集型应用的处理

大数据：云端数据密集型应用的处理

1. 大数据背景与数据安全

如今，分布式计算发展迅速，它能将多个不同的工作负载聚合到一个大型处理器集群中。在这个过程中，数据安全问题备受关注。重要的安全问题涵盖数据安全保护、知识产权保护、个人隐私保护、商业机密和财务信息保护等。

多数发达国家和发展中国家已制定相关数据保护法律以增强安全性。研究团体和个人在存储和处理数据时，需仔细考虑当地立法，确保符合规定。对于大数据相关应用，数据安全问题更为棘手，原因如下：
- 大数据规模极其庞大，限制了保护方法的选择。
- 这也导致安全工作负载大幅增加。
- 大多数大数据以分布式方式存储，网络威胁会加剧这些问题。

2. 数据可视化

数据可视化的主要目标是通过不同图形更直观、有效地呈现知识。为了轻松传达复杂大规模数据集中隐藏的信息，美观形式和功能性都不可或缺。以抽象形式呈现的信息，如信息单元的属性或变量，对数据分析也很有价值，这种方式比复杂方法更直观。

例如，在线市场 eBay 每月有数亿活跃用户和数十亿商品交易，产生大量数据。为使这些数据易于理解，eBay 采用了大数据可视化工具 Tableau，它能将大型复杂数据集转化为直观图片，结果还具有交互性。基于此，eBay 员工可可视化搜索相关性和质量，监控最新客户反馈并进行情感分析。

然而，大数据应用的数据可视化尤其困难，因为大数据规模大、维度高。当前大数据可视化工具在功能、可扩展性和响应时间方面大多表现不佳。我们需要重新思考大数据可视化方式，例如，信息可视化的历史机制也是数据密集型的，需要更高效的方法。不确定性会给有效的不确定性感知可视化带来巨大挑战，且可能出现在可视化分