网络语言系列&go系列【仅供参考】：Go语言中的http.Transport优化技巧与实践

本文链接：https://blog.youkuaiyun.com/weixin_54626591/article/details/147814164

Go语言中的http.Transport优化技巧与实践

Go语言中的http.Transport优化技巧与实践

Go语言中的http.Transport优化技巧与实践

在Go语言中，http.Transport 是进行网络请求时的重要组件。在大规模的并发请求中，不合理地使用 http.Transport 很容易导致网络请求的性能瓶颈。以下是一些 http.Transport 的优化技巧与实践分享：

一、使用连接池

原理：连接池可以有效避免频繁地创建和关闭连接带来的性能开销，以及服务器端对连接数的限制问题。
实现：通过设置 MaxIdleConns 和 MaxIdleConnsPerHost 参数来调整连接池的大小。MaxIdleConns 表示总的最大空闲连接数，MaxIdleConnsPerHost 表示每个主机的最大空闲连接数。

二、启用 Keep-Alive

原理：Keep-Alive 是一种 HTTP 持久连接的机制，它允许客户端和服务器在同一 TCP 连接上发送多个 HTTP 请求和响应。启用 Keep-Alive 可以减少连接建立的开销，提高网络请求的性能。
实现：在 http.Transport 中，默认已经启用了 Keep-Alive。如果需要，可以通过设置 MaxIdleConnsPerHost 来控制每个主机的最大空闲连接数，从而降低连接的创建和关闭频率。

三、连接复用

原理：连接复用是指在发送请求后，保持 TCP 连接的打开状态，以便在下次请求时可以继续使用该连接。这可以进一步减少连接建立的开销。
实现：确保 DisableKeepAlives 设置为 false（默认值），以启用连接复用。同时，结合使用连接池可以更有效地管理这些复用的连接。

四、调整超时设置

原理：合理的超时设置可以避免网络请求因等待过久而导致的性能问题。
实现：可以通过设置 IdleConnTimeout（空闲连接的超时时间）、TLSHandshakeTimeout（TLS 握手的超时时间）、ExpectContinueTimeout（100-continue 状态响应的超时时间）以及客户端的 Timeout（完整请求的超时时间）等参数来调整超时设置。

五、禁用压缩（可选）

原理：在某些情况下，禁用压缩可以减少延迟，提高网络请求的性能。特别是当响应数据已经被压缩过，或者压缩带来的性能提升不明显时。
实现：通过设置 DisableCompression 为 true 来禁用压缩。

六、启用流式读取（可选）

原理：在处理大量响应数据时，通过流式读取（Streaming Response）的方式可以减少内存消耗。
实现：通过设置 DisableResponseBuffering 为 true 来启用流式读取。

七、示例代码

以下是一个结合了上述优化技巧的示例代码：

package main
 
import (
	"fmt"
	"net/http"
	"time"
)
 
var client *http.Client
 
func init() {
	transport := &http.Transport{
		MaxIdleConns:        100,            // 最大空闲连接数
		MaxIdleConnsPerHost: 10,             // 每个host的最大空闲连接数
		IdleConnTimeout:     90 * time.Second, // 空闲连接的超时时间
		TLSHandshakeTimeout: 10 * time.Second, // TLS握手的超时时间
		ExpectContinueTimeout: 1 * time.Second, // 100-continue状态响应的超时时间
		DisableKeepAlives:   false,          // 启用连接复用
		// 禁用压缩以减少延迟（可选）
		// DisableCompression: true,
		// 启用流式读取以减少内存消耗（可选）
		// 注意：流式读取和禁用响应缓冲通常不会同时启用，具体取决于业务需求
		// DisableResponseBuffering: true,
	}
	client = &http.Client{
		Transport: transport,
		Timeout:   10 * time.Second, // 完整请求的超时时间
	}
}
 
func main() {
	resp, err := client.Get("https://www.example.com")
	if err != nil {
		fmt.Println("请求错误:", err)
		return
	}
	defer resp.Body.Close()
	// 处理响应...
}