服务器相关知识点

1 显卡采购

（1）官方产品定位

个人消费级：应用于普通pc，包括Geforce GTX1080 TI和 Titan Xp等；

工业应用级：应用于数据中心，包括Tesla V100、NVIDIA T4等；

（2）实际应用部署

在实际采购时，应该考虑日常应用场景需求，如果没特别高的要求，从性价比上来说绝对选Geforce GTX 1080 Ti“，正如网友所说，“凡是不向外提供算法服务能力的机构，都推荐 GeForce GTX 系列。” 也就是说，如果只是算法开发和内部服务，不管是高校还是企业，都推荐 GeForce GTX 系列，如果是对第三方提供云服务，出于NVIDIA LICENCE要求，需要使用工业应用级显卡。

参考链接：https://www.zhihu.com/question/267786456

2 服务器在线服务

（1）吞吐量（承压能力）

（2）并发请求数：固定时间间隔内的处理请求的个数，该指标基于用户大数据，由需求方给出；

（2）响应时间：一次请求从发送、处理、返回的总时间，由需求方给出；

步骤一：判断是否满足需求方提出的响应时间，若满足，则使用cpu机器，若不满足，则考虑改进算法复杂度或者使用带GPU的推理服务器（比如Nvidia T4，使用FT16时推理速度更快）；

步骤二：配置服务器端，若服务器端为cpu，则需要配置多线程，若为GPU，则可以采用基于batch的处理；

步骤二：做压力测试，模拟用户请求，得出1台服务器的吞吐量，然后基于并发请求数，确定出需要堆叠多少台机器；