17、大数据表格管理与安全：从基础到实践

大数据表格管理与安全：从基础到实践

1. 大数据与表格管理概述

大数据通常指对快速、庞大、多变或复杂数据集的管理，这些数据集往往包含数十亿条记录，分散在多台机器上，并且为了存储还可能需要改变数据结构。在处理大数据和表格时，有许多最佳实践、技巧和窍门，以下是一些关键方面。

1.1 行键设计

HBase和Cassandra通过行键来分布数据，每个区域服务器管理不同的键空间。因此，数据分布以及数据摄入和查询性能都取决于所选择的行键。

例如，在管理日志文件的应用程序中，若使用消息的日期和时间作为行键的开头，最新信息将集中在管理最高行键值的单台服务器上。新摄入的数据都会涌向这台服务器，导致摄入性能下降。若监控仪表盘都查询最近五分钟的数据，这台服务器的查询负载也会很高，从而影响性能。

为避免这种情况，应选择能在多台机器间良好分布的行键。可以使用具有随机值的唯一键，Java中的 Universally Unique Identifier (UUID) 类可用于生成此类ID，部分表格也具备内置的生成功能。同时，可将键值建模为列名的查找依据，而非行键。

不同的键策略会在读写性能上产生不同的权衡。键越随机，相邻行存储在一起的可能性就越小。使用非常随机的键可提高写入速度，但会降低读取速度，因为数据库需要扫描多个分区来查找相关数据。可通过使用二级索引来缓解这一问题，因为索引字段存储在存储键之外，能兼顾读写性能。

1.2 键值反转

在关系型数据库中，为快速查找表值，可添加列索引。该索引按值对记录进行排序，使范围查询比扫描整个数据库更快。

但大多数表格