24、云存储队列与表服务全解析

sql99

于 2025-10-03 09:02:44 发布

阅读量20

点赞数

CC 4.0 BY-SA版权

分类专栏：解密Windows Azure编程文章标签：云存储队列服务表服务

本文链接：https://blog.youkuaiyun.com/sql99/article/details/153176979

解密Windows Azure编程专栏收录该内容

34 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

云存储队列与表服务全解析

在云存储的世界里，队列和表服务是两个重要的组成部分。队列用于消息的存储和处理，而表服务则提供了高度可靠的结构化存储。下面将详细介绍它们的相关操作和特点。

队列消息操作

消息入队
- 向队列中添加消息时，使用 POST 请求。例如：

POST /testq1/messages?timeout=30 HTTP/1.1
x-ms-date: Sat, 04 Jul 2009 00:53:26 GMT
Authorization: SharedKey sriramk:26L5qqQaIX7/6ijXxvbt3x1AQW2/Zrpxku9WScYxD4U=
Host: sriramk.queue.core.windows.net
Content-Length: 76
Expect: 100-continue
<QueueMessage>
 <MessageText>U2FtcGxlIG1lc3NhZ2U=</MessageText>
</QueueMessage>

- 如果消息创建成功，服务器会返回 HTTP 201 Created 响应。

消息 TTL（Time To Live）
- 每个消息都有一个默认的 TTL，为七天。可以通过在 URI 中添加 messagettl=ttl - in - seconds 参数来指定消息的 TTL。
- 存储客户端库也有相应的方法重载来设置插入消息的 TTL。
消息窥视（Peeking）
- 窥视消息可以在不改变其可见性的情况下查看队列前端的消息。
- 操作步骤如下：
  - 发送 HTTP GET 请求到 http://<account>.core.windows.net/<queue>/messages?peekonly=true 。
  - 可以通过设置 URI 中的 numofmessages 参数来控制要窥视的消息数量。
- 示例代码：

CloudStorageAccount cloudStorageAccount =
CloudStorageAccount.Parse(ConfigurationSettings.AppSettings
["DataConnectionString"]);
CloudQueueClient cloudQueueClient =
cloudStorageAccount.CreateCloudQueueClient();
CloudQueue cloudQueue = cloudQueueClient.GetQueueReference("testq1");
CloudQueueMessage msg = cloudQueue.PeekMessage();
Console.WriteLine(msg.AsString);

- 如果请求正确，服务器会返回如下格式的 XML 响应：

<QueueMessagesList>
    <QueueMessage>
      <MessageId>string-message-id</MessageId>
      <InsertionTime>insertion-time</InsertionTime>
      <ExpirationTime>expiration-time</ExpirationTime>
      <MessageText>message-body</MessageText>
    </QueueMessage>
</QueueMessagesList>

获取消息
- 可以通过发送授权的 HTTP GET 请求到 http://<account>.core.windows.net/<queue>/messages 从特定队列获取消息。
- 可修改的参数有：
  - numofmessages ：指定队列服务要返回的消息数量，默认返回一条消息。
  - visibilitytimeout ：指定所检索消息的可见性超时时间。
- 示例代码：

CloudStorageAccount cloudStorageAccount =
CloudStorageAccount.Parse(ConfigurationSettings.AppSettings
["DataConnectionString"]);
CloudQueueClient cloudQueueClient =
cloudStorageAccount.CreateCloudQueueClient();
CloudQueue cloudQueue = cloudQueueClient.GetQueueReference("testq1");
CloudQueueMessage msg = cloudQueue.GetMessage();
//Do something useful with the message
cloudQueue.DeleteMessage(msg);

- 服务器返回的 XML 响应除了包含常见的消息属性外，还包含 `TimeNextVisible` 和 `PopReceipt` 属性。

删除消息
- 处理完消息后，需要删除它以防止其再次出现在队列中。
- 操作步骤：发送 HTTP DELETE 请求到 http://<account>.core.windows.net/<queue>/messages/messageid?popreceipt=<popreceipt> 。
- 示例代码与获取消息的代码类似，只是在处理完消息后调用 DeleteMessage 方法。
- 若删除成功，服务器会返回 HTTP 204 响应。
PopReceipt 的作用
- PopReceipt 机制用于确保只有正确的工作进程能够删除队列中的消息。
- 如果 PopReceipt 的可见性超时已过期，删除操作将失败。

以下是队列消息操作的流程图：

graph LR
    A[消息入队] --> B[消息窥视]
    B --> C[获取消息]
    C --> D[处理消息]
    D --> E[删除消息]

表服务概述

Windows Azure 表服务简介
- 提供高度可靠的结构化存储，可用于替代传统数据库存储数据。
- 支持典型的 CRUD 操作，无需在虚拟机上安装软件或运行额外的虚拟机。
- 具有高度可扩展性，用户可以存储数十亿个实体。
- 没有严格的预定义架构，每行可以有不同数量或类型的属性。
- 提供基于 HTTP REST 的查询语言，与 Microsoft 的 ADO.NET Data Services 兼容。
- 始终保持一致性，任何更改都会立即可见，没有传播延迟。
核心概念
- 表（Tables） ：是相关数据集的容器，在存储账户下创建，一个存储账户可以有任意数量的表。查询针对单个表进行，格式为 http://<StorageAccount>.table.core.windows.net/<TableName>?filter=<Query> 。
- 实体（Entities） ：数据以实体的形式存储在表中，可看作数据库中的行。实体是读写访问的单位，具有 RowKey 和 PartitionKey 两个特殊属性，它们共同构成实体的主键。
- 属性（Properties） ：相当于列，一个实体最多可以有 255 个属性，属性没有固定的架构。属性的类型包括 String、Binary、Bool、DateTime、GUID、Int、Int64 和 Double。

以下是数据库术语与 Azure 表服务术语的对应关系表：
| 数据库术语 | Azure 表服务术语 |
| — | — |
| 表 | 表 |
| 行 | 实体 |
| 列 | 属性 |
| 分片/分区 | 分区 |
| 主键 | PartitionKey + RowKey |

Azure 表与传统数据库的比较
- 非规范化数据 ：传统数据库通过规范化确保数据不重复和一致，但会影响性能。Azure 表中的数据没有表间关系，需要确保模式足够非规范化。非规范化虽然能提高性能和灵活性，但需要开发者维护数据完整性，额外的写入操作也会影响性能。

通过对队列和表服务的了解，我们可以根据不同的场景选择合适的存储方式，构建出复杂而可靠的架构。

云存储队列与表服务全解析

队列消息操作的深入理解

消息顺序问题
在使用大型分布式队列服务时，消息入队顺序并不一定等同于消息的接收顺序。因为分布式系统的特性，很难保证消息按插入顺序被交付。例如，多个队列接收器处理消息的时间不同，可能导致先插入的消息后被处理。
消息处理流程优化
- 在实际应用中，为了提高消息处理的效率，可以批量获取消息。通过设置 numofmessages 参数为大于 1 的值，一次性获取多个消息进行处理。
- 同时，合理设置 visibilitytimeout 也非常重要。如果设置过短，可能导致消息在处理过程中又变得可见，被其他接收器重复处理；如果设置过长，可能会造成资源浪费。

以下是一个优化后的获取消息的示例代码，一次性获取 5 条消息：

CloudStorageAccount cloudStorageAccount =
CloudStorageAccount.Parse(ConfigurationSettings.AppSettings
["DataConnectionString"]);
CloudQueueClient cloudQueueClient =
cloudStorageAccount.CreateCloudQueueClient();
CloudQueue cloudQueue = cloudQueueClient.GetQueueReference("testq1");
IEnumerable<CloudQueueMessage> messages = cloudQueue.GetMessages(5);
foreach (CloudQueueMessage msg in messages)
{
    // 处理消息
    Console.WriteLine(msg.AsString);
    cloudQueue.DeleteMessage(msg);
}

表服务的实际应用

数据存储与查询示例
假设我们要存储用户信息，使用 Azure 表服务可以这样操作：

// 连接到存储账户
CloudStorageAccount storageAccount = CloudStorageAccount.Parse(
    ConfigurationSettings.AppSettings["DataConnectionString"]);
// 创建表客户端
CloudTableClient tableClient = storageAccount.CreateCloudTableClient();
// 获取表引用
CloudTable table = tableClient.GetTableReference("UserInfo");
// 创建表（如果不存在）
table.CreateIfNotExists();

// 创建用户实体
DynamicTableEntity userEntity = new DynamicTableEntity("UserPartition", "User1");
userEntity.Properties["Name"] = new EntityProperty("John Doe");
userEntity.Properties["Age"] = new EntityProperty(30);

// 插入实体
TableOperation insertOperation = TableOperation.Insert(userEntity);
table.Execute(insertOperation);

// 查询用户信息
TableQuery<DynamicTableEntity> query = new TableQuery<DynamicTableEntity>()
    .Where(TableQuery.GenerateFilterCondition("PartitionKey", QueryComparisons.Equal, "UserPartition"));
foreach (DynamicTableEntity entity in table.ExecuteQuery(query))
{
    Console.WriteLine($"Name: {entity.Properties["Name"].StringValue}, Age: {entity.Properties["Age"].Int32Value}");
}

分区方案选择
在 Azure 表服务中，分区方案的选择对性能至关重要。可以根据数据的访问模式和业务需求来选择合适的分区键。例如，如果经常按用户 ID 进行查询，可以将用户 ID 作为分区键，这样可以提高查询性能。

队列与表服务的综合应用

在实际应用中，队列和表服务可以结合使用，构建高效的分布式系统。例如，一个电商系统中，用户下单后，将订单信息发送到队列中，然后由工作进程从队列中获取订单信息，存储到表服务中进行持久化。

以下是综合应用的流程图：

graph LR
    A[用户下单] --> B[订单信息入队]
    B --> C[工作进程获取订单信息]
    C --> D[将订单信息存储到表服务]

总结

队列和表服务虽然看似简单，但在构建复杂的分布式系统中起着至关重要的作用。队列可以实现消息的异步处理，提高系统的吞吐量和可靠性；表服务可以提供高度可扩展的结构化存储，满足大规模数据的存储需求。通过合理使用队列和表服务，我们可以构建出高效、稳定的应用架构。在实际应用中，需要根据具体的业务场景和需求，选择合适的操作参数和分区方案，以达到最佳的性能和效果。