数据传输场景

将100TB数据从广州传输到深圳，且考虑到每天增量1TB（约100亿条记录），可以采用以下几种方法来平衡成本与效率：

1. 物理传输
   硬盘邮寄：可以使用移动硬盘或存储设备将数据拷贝后，通过快递的方式送往深圳。
   优点：

   1. 成本较低，尤其是在初始大规模传输时。
   2. 不受网络带宽限制。

   缺点：

   1. 需要时间进行邮寄和数据拷贝。
   2. 安全性需要保证，避免数据丢失。

2. 网络传输
   专线或VPN：通过专线或VPN进行数据传输，适合长期的数据传输需求。
   优点：

   1. 传输速度快，适合日常增量数据的快速传输。
   2. 安全性较高。

   缺点：

   1. 需要支付网络服务商的专线费用。
   2. 依赖于网络稳定性。

   云存储：将数据上传到云存储服务（如阿里云、腾讯云等），然后在深圳下载。

   优点：

   1. 灵活性高，可以按需扩展。
   2. 数据备份和管理方便。

   缺点：

   1. 可能会产生高额的存储和传输费用，尤其是在大规模数据传输时。
   2. 需要稳定的网络条件。

3. 增量备份
   差异化传输：初始传输100TB后，后续每天仅传输1TB的增量数据（可以利用增量备份技术）。
   优点：

   1. 每天只需传输新数据，降低了带宽需求。
   2. 提高了效率，节省了时间。

   缺点：

   需要实现增量备份的工具和技术支持。

4. 数据压缩和分片
   数据压缩：在传输前对数据进行压缩，减少传输的数据量。

   优点：降低带宽使用和传输时间。
   缺点：需要额外的计算资源进行压缩和解压缩。

   数据分片：将大文件分割成多个小文件进行并行传输，提高传输效率。

   优点：提高了数据传输的并行度。更好的容错性。
   缺点：需要额外的文件管理和组装。

5. 使用数据传输加速工具
   专用数据传输工具：如阿里云的数据传输服务、腾讯云的云迁移服务等。
   优点：

   提供高效、可靠的数据传输解决方案。
   除了简单的数据传输，还可能包括数据的格式转换、数据处理等功能。

   缺点：

   可能需要支付额外的费用。

   结论
   综合考虑，初始阶段可以采用物理传输（如移动硬盘邮寄）进行大规模数据传输，随后使用专线/VPN或云存储进行日常的增量数据传输。同时，结合数据压缩和增量备份技术，可以在确保数据安全的前提下提高传输效率并降低成本。根据具体的业务需求和预算，可以选择最合适的方法。

如果不适用物理传输，要用什么线传输，传输速率要多大，要传输多久？

同样的场景，但不是数据传输，而是数据存储和处理：

引用：100TB级, 日增量1TB(100亿), OLTP OLAP混合场景数据库设计方向