【调研】有关客户端中文件上传并行数量、分片大小对传输速率的影响以及选取依据

背景

当文件体积较大、网络环境不稳定或需要提高上传效率时，文件上传需要使用分片上传。分片上传可以将大文件分割成多个小块，逐一上传，从而避免单次上传过大的数据导致失败。此外，如果网络中断或上传失败，只需重新上传失败的部分，而不是整个文件，这样可以节省时间和带宽。分片上传还支持并行处理，提高了上传速度和效率。因此，在处理大文件和不稳定网络环境时，分片上传是一种更可靠和高效的解决方案。而在分片上传中，并行路数和分片大小的选值对上传的速率和成功率相当重要。

目标

想要得到一个单路和多路并行上传文件的网络速度规律，合理设置并行路数和分片大小这两项参数，找到一些理论支撑和实际测试值。

影响

1.  并行数量：

• 并行数量多，可以更好地利用带宽，提高整体传输效率；并行数量少或单路连接，则带宽利用率低，从而导致传输效率低。
• 并行数量过多，可能会造成网络拥塞或服务器过载，影响传输效率甚至传输成功率。

2.  分片大小：

• 使用较大的分片，能够减少总的分片数量，从而减少连接建立和关闭的次数、降低了每次请求的开销。
• 分片大小的选取受到网络和服务器的限制，且过大的分片会使得分片传输失败时的重传成本更大。

思路

所以要多加测试才能找到规律，可以按下表做一些控制变量的测试；做数据分析时，取一个相对折衷、普适的方案（比如在平台平均的视频质量、用户平均的网络环境、中端机型的条件下，测试观察并行数量和分片大小取多少才能使得下载/上传速率达到最优，并且在其他条件下也比较可观）