Go HTTP客户端高性能

HTTP（超文本传输协议）是一种用于客户端和服务器之间传输数据的通信协议。如果想要访问服务器资源，HTTP 请求是必不可少的。Go 语言里，net/http 包附带了默认配置，我们可以适当调整便可以获得高性能。

大多数语言都有提供各自的 HTTP 客户端，文章接下来部分我们将动手实践如何使用 Go 语言发起 HTTP 请求，并讨论其中有可能遇到的问题。

在做 Go 项目时，我就意识到 HTTP 客户端如果配置不正确可能会随时导致服务器崩溃。

在使用 HTTP Client 时，我观察到一些问题并总结出相应的解决方案，如下所示：

问题一：默认的 HTTP Client

默认情况下，net/http 包自带的 HTTP 客户端不带超时时间。如果你使用的是默认的客户端 http.DefaultClient()，这个是不带超时时间的。

假如你请求外部的 API 挂了，发出的请求没响应导致连接一直出于打开状态。随着请求数越来越多，连接数随之增加，导致耗尽服务器的资源，最后服务器随之崩溃。

解决办法：不要使用默认的 HTTP 客户端，根据实际情况设置超时时间。

var httpClient = &http.Client{
  Timeout: time.Second * 10,
}

对于 API 接口，超时时间建议不需要超过 10s，如果请求在 10s 内没有返回，则请求会取消并报错：request canceled (Client.Timeout exceeded …) 。

问题二：默认的 Http Transport

默认情况下，HTTP 客户端会维护一个连接池。当请求完成之后，连接会保持打开状态直到空闲时间超时（默认是 90s）自动断开。如果有请求过来，会优先使用已打开的连接而不是创建新的连接，请求完成之后，连接会返还到连接池中。

使用连接池将使用最少的服务器资源处理更多的 API 请求。

如果没有自定义 HTTP 客户端的 transport，将会使用默认配置。

HTTP Transport 的默认配置如下：

var DefaultTransport RoundTripper = &Transport{
    ...
    MaxIdleConns:          100,
    IdleConnTimeout:       90 * time.Second,
    ...
}

 
const DefaultMaxIdleConnsPerHost = 2

MaxIdleConns 表示连接池大小，是可以打开的最大连接数，默认值是 100。

参数 DefaultMaxIdleConnsPerHost 的默认值是 2，表示每个主机（host）的打开连接数。这意味着，连接池中 100 个连接只有两个连接分配给该主机。

随着请求增多，但是只有两个请求被处理，其他请求只能被迫等待并进入 TIME_WAIT 状态。请求增多，进入 TIME_WAIT 状态的连接数增多，消耗越来越多的服务器资源，当达到服务器瓶颈时，服务器将会崩溃。

解决办法：提高 MaxIdleConnsPerHost 数值，不要使用默认的 Transport。

t := http.DefaultTransport.(*http.Transport).Clone()
t.MaxIdleConns = 100
t.MaxConnsPerHost = 100
t.MaxIdleConnsPerHost = 100

httpClient = &http.Client{
  Timeout:   10 * time.Second,
  Transport: t,
}

通过增加每个主机的连接数和空闲连接数，就有助于提高性能并以最少的服务器资源处理更多请求。

可以根据服务器资源和实际需求适当增加连接池大小和每个主机的连接数。

总结

这篇文章中，我们围绕 net/http 包讨论了默认配置的一些问题。通过更改 HTTP 客户端的一些默认设置，在生产环境中也可以获得高性能的 HTTP 客户端。