55、Cloud Pub/Sub 消息模式与成本分析

最新推荐文章于 2025-11-23 13:44:03 发布
最新推荐文章于 2025-11-23 13:44:03 发布
阅读量35 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 驾驭云端：GCP实战指南 文章标签： Cloud Pub/Sub 消息模式 成本分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/tensorflowjs6/article/details/153226341

Cloud Pub/Sub 消息模式与成本分析

1. 成本计算

在使用 Cloud Pub/Sub 时，成本是一个需要考虑的重要因素。假设你有 12,960,000 个发布请求，以及 1,296,000,000 个拉取（或推送）请求，那么总请求数为 1,308,960,000 个。

每个请求的最小计费量是 1 KB，即使消息很小，总数据量也约为 13 亿 KB，略低于 1.31 TB。按照每 GB 数据 0.06 美元的费率，每月向 100 个消费者发送 1300 万条消息的费用将是 78.60 美元。

2. 消息模式

2.1 扇出广播消息模式

2.1.1 模式介绍

扇出系统使用 Pub/Sub，使得任何单个发送者都可以向广泛的受众广播消息。例如，在一个由多台机器组成的系统中，每台机器都在 eBay 上自动竞标商品，你希望跟踪总体花费。由于有多台服务器都在竞标商品，你需要一种方式来告知所有服务器目前的花费情况，否则你将不得不轮询单个中央服务器以获取这个总数。

为了实现这一点，你可以使用扇出消息，每台服务器向特定的 Pub/Sub 主题广播其已花费金钱的事实。这样，所有监听该主题的其他机器都可以跟踪总花费，并在有新的支出时立即得到通知。

2.1.2 代码实现

以下是实现该功能的代码示例： 

const request = require('request');
const pubsub = require('@google-cloud/pubsub')({
  projectId: 'your-project-id'
});
let machineId;
const topic = pubsub.topic('money-spent');           
const amountSpentUrl = 'http://ebaybidder.mydomain.com:8080/budgetAvailable.json';
let amountSpent;
startBidding = () => {                            
  request(amountSpentUrl, (err, res, body) => {
    amountSpent = body;
    const subscription = topic.subscription(machineId + '-queue');                        
    subscription.on('message', (message) => {           
      console.log('Money was spent!', message.data);
      amountSpent += message.data;               
      message.ack();                   
    });
    bidOnItems();     
  });
}

上述代码的主要步骤如下：
1. 初始化 ：引入必要的模块，设置项目 ID，定义主题和获取可用预算的 URL。
2. 启动竞标 ：当新的竞标机器启动时，调用 startBidding 方法，该方法会从中央位置获取可用预算。
3. 订阅主题 ：为每台机器创建一个唯一的订阅，监听主题上的消息。
4. 更新花费 ：当有新消息到达时，更新总花费，并确认收到消息。
5. 开始竞标 ：调用 bidOnItems 方法开始在 eBay 上竞标商品。

2.1.3 更新花费的代码

当你竞标商品或因被出价更高而获得退款时，需要更新花费。以下是实现该功能的代码： 

const pubsub = require('@google-cloud/pubsub')({
  projectId: 'your-project-id'
});
let machineId;
const topic = pubsub.topic('money-spent');
const broadcastBid = (bid) => {         
  return topic.publish({
    data: bid.amount,          
    attributes: {
      machineId: machineId,            
      itemId: bid.item.id
    }
  }, {raw: true});            
}
const broadcastRefund = (bid) => {      
  return topic.publish({
    data: -1 * bid.amount,     
    attributes: {
      machineId: machineId,
      itemId: bid.item.id
    }
  }, {raw: true});
}

上述代码的主要步骤如下：
1. 广播竞标 ：当你竞标商品时，调用 broadcastBid 方法，向主题发布花费的金额。
2. 广播退款 ：当你被出价更高或拍卖取消时，调用 broadcastRefund 方法，向主题发布退款的金额。

2.2 工作队列消息模式

2.2.1 模式介绍

与扇出消息模式不同，工作队列消息模式是一种将工作分配给多个消费者的方式，理想情况下，每个消息只由一个消费者处理。

继续以 eBay 竞标为例，假设你想设计一种方式来指示所有竞标机器对特定的商品列表进行竞标。为了避免每个机器都对每个商品进行竞标，你可以使用工作队列模式。

2.2.2 代码实现

以下是实现该功能的代码示例： 

const pubsub = require('@google-cloud/pubsub')({
  projectId: 'your-project-id'
});
const topic = pubsub.topic('bid-on-item');             
const subscription = topic.subscription('bid-on-item-queue');
subscription.on('message', (message) => {          
  message.ack(() => {                   
    bidOnItem(message);   
  });
});

上述代码的主要步骤如下：
1. 初始化 ：引入必要的模块，设置项目 ID，定义主题和订阅。
2. 监听消息 ：为订阅注册一个回调函数，当有新消息到达时，确认收到消息，并调用 bidOnItem 方法对商品进行竞标。

2.3 两种消息模式对比

消息模式 特点 适用场景
扇出广播消息模式 单个发送者向多个消费者广播消息，每个消费者都能收到相同的消息 需要将信息同步给多个接收者的场景，如多个服务器之间的状态同步
工作队列消息模式 消息由单个消费者处理，避免重复处理 需要将任务分配给多个工作者，且每个任务只需要处理一次的场景，如任务调度

2.4 消息模式流程图 

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;

    A(消息发送者):::process -->|扇出广播消息模式| B(主题: money-spent):::process
    B -->|订阅| C(消费者 1):::process
    B -->|订阅| D(消费者 2):::process
    B -->|订阅| E(消费者 3):::process

    F(任务生产者):::process -->|工作队列消息模式| G(主题: bid-on-item):::process
    G -->|订阅| H(消费者 1):::process
    G -->|订阅| I(消费者 2):::process
    G -->|订阅| J(消费者 3):::process

通过上述内容，我们了解了 Cloud Pub/Sub 的成本计算方法，以及扇出广播消息模式和工作队列消息模式的原理和实现方式。在实际应用中，我们可以根据具体的需求选择合适的消息模式，以提高系统的效率和可靠性。

3. 其他相关服务及功能

3.1 数据处理与存储服务

在云环境中，除了 Cloud Pub/Sub 外，还有许多其他重要的数据处理与存储服务。

3.1.1 Cloud Bigtable
  • 概念 ：Cloud Bigtable 是一种高性能的 NoSQL 数据库服务，适用于处理大规模数据。它具有高吞吐量和低延迟的特点，非常适合实时分析和大数据处理。
  • 数据模型 ：其数据模型基于分布式哈希表，支持多版本数据和稀疏数据。表由行和列族组成，每个行可以有多个列族，每个列族可以包含多个列。
  • 使用场景 ：常用于物联网、金融、医疗等领域，如处理传感器数据、交易记录等。
3.1.2 Cloud Datastore
  • 概念 ：Cloud Datastore 是一种面向文档的 NoSQL 数据库，提供自动复制和高可用性。它支持事务和复杂查询，适用于存储结构化和半结构化数据。
  • 数据结构 ：数据以实体的形式存储，每个实体有一个键和多个属性。实体可以组织成层次结构，支持祖先查询。
  • 使用场景 ：常用于 Web 应用、移动应用等，如存储用户信息、博客文章等。
3.1.3 Cloud Spanner
  • 概念 ：Cloud Spanner 是一种全球分布式关系数据库，提供强一致性和自动扩展。它结合了关系数据库的功能和分布式系统的可扩展性，适用于对数据一致性要求较高的应用。
  • 数据模型 ：基于传统的关系数据库模型，支持 SQL 查询和事务。表可以通过主键和外键进行关联。
  • 使用场景 ：常用于金融交易、电商平台等，如处理订单信息、库存管理等。

3.2 机器学习与人工智能服务

云平台还提供了丰富的机器学习与人工智能服务，帮助开发者快速构建智能应用。

3.2.1 Cloud ML Engine
  • 概念 ：Cloud ML Engine 是一个托管的机器学习平台，支持 TensorFlow 等流行的机器学习框架。它提供了模型训练、部署和预测的一站式服务。
  • 操作步骤 ：
    1. 数据准备 ：将训练数据存储在 Cloud Storage 中。
    2. 模型开发 ：使用 TensorFlow 等框架开发机器学习模型。
    3. 模型训练 ：在 Cloud ML Engine 上提交训练作业，指定训练参数和资源配置。
    4. 模型部署 ：将训练好的模型部署到 Cloud ML Engine 上，生成预测服务。
    5. 模型预测 ：通过 API 调用预测服务，对新数据进行预测。
3.2.2 Cloud Natural Language
  • 概念 ：Cloud Natural Language 是一个自然语言处理 API，提供实体识别、情感分析、语法分析等功能。它可以帮助开发者理解和处理文本数据。
  • 操作步骤 ：
    1. 数据输入 ：将需要分析的文本作为输入。
    2. API 调用 ：使用 Cloud Natural Language API 对文本进行分析。
    3. 结果获取 ：获取分析结果，如实体列表、情感得分等。
3.2.3 Cloud Vision
  • 概念 ：Cloud Vision 是一个图像识别 API，提供图像标注、人脸检测、文字识别等功能。它可以帮助开发者理解和处理图像数据。
  • 操作步骤 ：
    1. 图像上传 ：将需要分析的图像上传到 Cloud Storage 或直接作为输入。
    2. API 调用 ：使用 Cloud Vision API 对图像进行分析。
    3. 结果获取 ：获取分析结果，如图像标签、人脸信息等。

3.3 网络与安全服务

网络与安全是云环境中至关重要的方面，云平台提供了一系列的服务来保障网络的可靠性和数据的安全性。

3.3.1 Cloud DNS
  • 概念 ：Cloud DNS 是一个分布式的域名系统，提供高可用性和低延迟的域名解析服务。它可以帮助开发者管理域名和 IP 地址的映射。
  • 操作步骤 ：
    1. 域名注册 ：在域名注册商处注册域名。
    2. 区域创建 ：在 Cloud DNS 中创建域名区域。
    3. 记录添加 ：添加 DNS 记录，如 A 记录、CNAME 记录等。
    4. 域名配置 ：将域名的 DNS 服务器配置为 Cloud DNS 的服务器。
3.3.2 Cloud Storage
  • 概念 ：Cloud Storage 是一个可扩展的对象存储服务，提供高可用性和持久性的数据存储。它可以用于存储各种类型的数据，如图片、视频、文档等。
  • 操作步骤 ：
    1. 存储桶创建 ：在 Cloud Storage 中创建存储桶。
    2. 对象上传 ：将数据上传到存储桶中。
    3. 权限设置 ：设置存储桶和对象的访问权限，如公共访问、私有访问等。
3.3.3 安全配置
  • 访问控制 ：使用 IAM（Identity and Access Management）来管理用户和服务账户的权限，确保只有授权的用户可以访问资源。
  • 加密 ：对存储在 Cloud Storage 中的数据进行加密，保护数据的机密性。
  • 网络安全 ：使用 VPC（Virtual Private Cloud）来隔离网络，设置防火墙规则来控制网络流量。

3.4 服务使用流程图 

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;

    A(数据处理与存储):::process --> B(Cloud Bigtable):::process
    A --> C(Cloud Datastore):::process
    A --> D(Cloud Spanner):::process

    E(机器学习与人工智能):::process --> F(Cloud ML Engine):::process
    E --> G(Cloud Natural Language):::process
    E --> H(Cloud Vision):::process

    I(网络与安全):::process --> J(Cloud DNS):::process
    I --> K(Cloud Storage):::process
    I --> L(安全配置):::process

4. 总结

通过对 Cloud Pub/Sub 以及其他相关云服务的介绍，我们可以看到云平台提供了丰富的功能和服务，涵盖了数据处理、存储、机器学习、网络和安全等多个方面。在实际应用中，我们可以根据具体的需求选择合适的服务，构建高效、可靠的云应用。

4.1 消息模式选择

  • 扇出广播消息模式适用于需要将信息同步给多个接收者的场景，如多个服务器之间的状态同步。
  • 工作队列消息模式适用于需要将任务分配给多个工作者，且每个任务只需要处理一次的场景，如任务调度。

4.2 服务组合

在构建云应用时，我们可以将不同的服务组合使用，以实现更复杂的功能。例如，使用 Cloud Pub/Sub 进行消息传递，使用 Cloud Bigtable 进行数据存储，使用 Cloud ML Engine 进行机器学习预测。

4.3 未来展望

随着云计算技术的不断发展，云平台将提供更多的功能和服务，为开发者带来更多的便利和创新机会。我们可以期待云平台在人工智能、物联网、区块链等领域发挥更大的作用。

大数据架构中的消息队列：Kafka与Pulsar对比
AI 算法实战派
09-22 807
随着企业数字化转型的深入，实时数据处理需求爆发式增长，消息队列作为数据管道的核心基础设施，其选型直接影响系统的可扩展性、可靠性和成本效益。本文聚焦Kafka（诞生于LinkedIn，2011年开源）和Pulsar（诞生于Yahoo，2018年捐赠给Apache），从架构设计哲学、核心功能模块、生态兼容性、典型应用场景等层面进行多维度对比，帮助读者建立系统化的技术选型框架。核心概念：解析消息队列基础模型，对比两者的架构分层设计技术原理：深入存储引擎、消息分发、容错机制等核心模块实战对比。
55、Cloud Pub/Sub 消息模式与成本解析
wood5的博客
11-19 23
本文深入解析了Google Cloud Pub/Sub的消息模式与成本结构，涵盖扇出广播和工作队列两种典型应用场景，并通过eBay投标系统实例展示代码实现。文章详细介绍了Pub/Sub的计费方式，每条消息最小按1KB计费，结合1300万条消息的实际案例计算出月费用为78.60美元。同时扩展对比了BigQuery、Bigtable、Dataflow等主流云服务的成本模型与适用场景，提供了Speech API的代码示例及通用云服务操作流程图。最后总结了各类云服务的技术选型建议，展望了云计算在AI与大数据领域的发
Redis：基于PubSub（发布/订阅）、Stream流实现消息队列
陌殇殇的博客
12-10 1385
Redis的PubSub（发布/订阅）、Stream流操作
52、Google Cloud Platform 实用技术操作指南
uuu88的博客
08-03 46
本文详细介绍了在 Google Cloud Platform（GCP）中使用多种实用技术进行数据处理、图像分析、语音识别、物联网设备管理以及系统监控的操作方法。内容涵盖使用 Dataflow 模板处理 IoT 数据、通过 Vision API 进行图像验证、利用 Cloud Speech API 实现语音转文字、使用 IoT Core 管理设备、创建 Stackdriver 监控告警、部署定制化实例、集成错误报告及调试工具等。通过这些实践指南，开发者可以更高效地构建和维护基于云的应用程序，充分发挥 GCP
Dapr for dotnet | 发布与订阅- Publish & Subscribe
ChaITSimpleLove的博客
03-29 3005
什么是发布与订阅（Publish & Subscribe）？ 在分布式环境中，各服务之间通常存在信息传递的需求，除了前面介绍的点对点的直接通信模式，有些应用场景还会存在间接解耦的异步通信模式，而发布-订阅模式（通常称为“发布/订阅”）就是其中一种广泛使用的消息传递模式。 架构师通常在分布式应用程序中采用它。 但是，实现此模式的管道可能会很复杂。 在不同的消息传递产品中，通常会有功能差异。 下面是一个典型的消息发布与订阅模式，在分布式环境中各服务彼此独立且需要相互通信时，此模式特别有用。 创建者（
55、Google Cloud Platform实用操作指南
ujm56789012的博客
10-12 27
本文详细介绍了Google Cloud Platform（GCP）的实用操作指南，涵盖VM迁移模拟、使用Packer创建黄金镜像、身份和访问管理（IAM）、存储操作、监控与日志记录、数据库服务（Cloud SQL和Cloud Spanner）以及应用开发与部署（App Engine和Cloud Functions）。通过具体步骤和代码示例，帮助用户掌握GCP核心功能，提升云计算资源管理效率，适用于企业迁移上云和开发者构建高效云应用。
SpringCloud补充与微服务面试题
weixin_46020981的博客
09-28 643
springCloud写不下了，补充MQ高级到这儿
17、消息队列与持续交付：技术解析与实践指南
metaverse5vr的博客
11-23 21
本文深入探讨了消息队列在现代软件架构中的必要性，对比了SNS与SQS、Google Cloud Pub/Sub等服务的应用场景。全面解析了持续交付的核心概念、优势及关键实践，包括构建、测试、部署、监控等全流程自动化。结合容器编排与不可变基础设施理念，阐述了如何提升系统稳定性与发布效率，并介绍了Terraform在实现基础设施即代码中的重要作用。最后总结了持续交付的最佳实践与关键技术要素，为构建高效、可靠的软件交付体系提供了完整指南。
10、Google Cloud数据处理实用指南
qq_27496129的博客
09-30 30
本文详细介绍了在Google Cloud平台上进行数据处理的实用方法，涵盖BigQuery中的数据去重与误删表恢复、通过Dataflow模板实现JSON/Avro数据的流式摄入、使用Cloud Data Fusion进行可视化数据清洗，以及构建Python版Apache Beam管道进行分布式数据处理。结合命令行操作、SQL查询和图形化工具，为开发者和数据工程师提供了从入门到进阶的完整实践指南，帮助用户高效完成各类数据处理任务。
Lua非空判断方法[源码]
11-24
本文详细介绍了在Lua中进行非空判断的几种方法，特别是针对table类型的变量。首先，文章指出了直接对nil值进行索引会导致异常的问题，并给出了一个简单的例子来说明如何避免这种情况。接着，文章讨论了如何判断一个table是否为空，指出不能简单地使用`#table == 0`的方式，而是应该使用`next(t) == nil`的方法。此外，文章还提到了`next`指令在LuaJIT中的优化问题，建议在非必要情况下少用。最后，文章简要介绍了如何判断一个字符串是否全部由空格组成，使用了正则匹配的方法。这些内容对于Lua开发者来说非常实用，能够帮助他们避免常见的错误。
JS表格转Excel实现[可运行源码]
11-24
该文章详细介绍了如何使用JavaScript将HTML表格数据导出为Excel文件。内容涵盖了针对不同浏览器的兼容性处理，包括IE和非IE浏览器的不同实现方式。对于IE浏览器，使用ActiveXObject进行导出；对于非IE浏览器，则通过base64编码和数据URI方案实现。文章还提供了完整的代码示例，包括表格数据的处理、格式化和导出功能，支持文本和图片类型的数据导出。
图片转bin文件存储[项目代码]
11-24
本文介绍了在OpenCV项目中如何将大量图片数据转换为二进制（bin）文件进行高效存储和读取的方法。作者在项目中遇到需要处理大量图片数据的问题，尝试了多种格式（如.mat、.txt、.yml）后发现效率较低。通过使用二进制文件存储，显著提升了读写速度。文章详细展示了使用OpenCV将图片写入二进制文件的代码示例，以及从二进制文件读取图片数据的实现方法。虽然该方法需要提前知道图片的尺寸和数量，但读写速度极快，适合处理大量图片数据。作者还提到可以通过换行符或终止符优化读取过程，但未深入探讨。
ROS视觉处理与色彩识别[项目源码]
11-24
本文详细介绍了在ROS环境下进行视觉处理的基础步骤，特别是针对色彩识别的实现方法。内容涵盖了从摄像头驱动的安装与配置（如usb_cam驱动和image_view工具的使用），到创建功能包和编写图像处理节点（包括RGB图像回调函数、HSV色彩空间转换、二值化处理及形态学操作）。此外，还演示了如何在仿真环境中获取图像，并通过OpenCV实现红色和绿色物体的识别与追踪。最后，文章提供了完整的代码示例和编译运行步骤，帮助读者快速上手ROS视觉处理项目。
Anaconda安装与使用指南[项目源码]
11-24
本文详细介绍了在Anaconda环境下安装和使用jupyter及numpy的步骤。首先，指导用户如何安装Anaconda并创建虚拟环境，然后详细说明了如何在虚拟环境中安装jupyter和numpy。接着，文章提供了多个numpy的练习示例，包括创建零向量、矩阵操作、归一化等。此外，还介绍了如何在Jupyter中完成numpy、pandas和matplotlib的例题，涵盖了从基础操作到实际应用的多个方面。最后，文章总结了实验过程中的经验，特别是在使用国内镜像源后下载速度的提升。
【动静障碍物】基于JPS算法（改进A）全局路径规划与DWA动态窗口局部避障的机器人自主导航混合控制算法（Matlab代码实现）
11-24
【动静障碍物】基于JPS算法（改进A）全局路径规划与DWA动态窗口局部避障的机器人自主导航混合控制算法（Matlab代码实现）内容概要：本文介绍了一种结合改进A*算法的JPS（跳跃点搜索）全局路径规划与DWA（动态窗口法）局部避障的混合控制算法，用于机器人在动静态障碍物环境下的自主导航。该算法通过JPS优化全局路径搜索效率，提升路径规划速度，并结合DWA实现实时动态避障，增强了机器人在复杂动态环境中的适应性和安全性。整个系统在Matlab平台上进行了代码实现与仿真验证，展示了良好的路径规划效果与避障性能。; 适合人群：具备一定机器人学、自动控制或路径规划基础知识的研究生、科研人员及从事智能机器人开发的工程技术人员。; 使用场景及目标：①应用于移动机器人在静态与动态障碍共存环境中的自主导航任务；②为研究高效全局规划与实时局部避障的融合策略提供技术参考与实现案例；③支持Matlab仿真环境下的算法验证与优化。; 阅读建议：建议读者结合Matlab代码深入理解JPS与DWA的集成逻辑，重点关注算法在路径最优性、计算效率与避障实时性之间的平衡设计，可进一步扩展至多机器人系统或复杂地形场景的应用研究。
Lua中loadstring应用[源码]
最新发布
11-24
本文介绍了在Lua编程中使用loadstring函数解析字符串公式的方法，特别是在游戏开发中的应用。通过示例代码展示了如何解析包含动态变量的字符串，如属性键、操作符和技能等级等，并动态计算其值。文章详细说明了如何利用loadstring将字符串转换为可执行的Lua代码，并处理复杂的公式解析，如计算buff持续时间和属性加成。这对于需要动态处理游戏内文本和公式的开发者具有实用价值。
VINS-Fusion部署流程[项目源码]
11-24
本文详细介绍了VINS-Fusion的部署及启动流程。首先，系统需要安装Ubuntu16.04以上版本并配置ROS环境，同时安装OpenCV、Glog、Ceres等依赖库。其次，编译功能包并进行多线程编译。启动阶段需获取IMU数据和图像信息，通过模拟器启动VINS-Fusion并查看Rviz可视化效果。标定部分包括相机内参和外参的配置，以及回环检测的优化。最后，文章简要提及实机启动的步骤，包括飞控和相机驱动的安装，以及通过脚本启动VINS-Fusion的流程。
Lua table.concat函数详解[项目源码]
11-24
本文详细介绍了Lua中的table.concat函数，该函数用于连接表中数组部分的元素，并可通过参数指定分隔符、起始和结束位置。文章通过多个示例展示了不同参数组合下的函数行为，包括默认参数的使用、自定义分隔符、指定连接范围等。此外，文章还解释了为何table.concat比for循环更高效，特别是在处理大量字符串连接时，table.concat经过优化，能显著减少时间消耗。最后，文章强调table.concat不会改变原始表的结构，为开发者提供了安全的使用保障。
Google Cloud Pub/Sub轮询机制与pubsub-poller工具解析
除了轮询，Google Cloud Pub/Sub 还支持其他消息传递模式，例如推送模型（Push Model），在这种模式下，服务会在新消息到达时主动向已注册的Webhook发送消息。还有一种流式推送模型（Streaming Pull），它可以减少...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值