go限流功能

引言

在我们日常维护中，经常有爬虫进行爬取网页，少则1秒钟请求数十次，多则达百次，严重消耗了服务器带宽，且影响正常使用者，好在nginx可以配合lua可以完成类似的需求，本次我们将使用go来完成本需求。

需求背景

在我们日常维护中，可能需要这样一种工具，来对某些路由，对特定IP或者用户ID,在特定时间内，限制最大访问次数，这样有效的避免服务器带宽资源的浪费的同时也能接入更多用户请求，本次使用go来做一个类似的。

web demo搭建

我们先来使用SampleHttp编写一个最简单的web服务器，定义路由queryAll，收到后，假设将返回客户端1w字节的数据信息。

在启动web服务器后，我们使用curl进行测试

命令：

curl 127.0.0.1:8083/queryAll

限制访问次数编写

在上述整体需求的情况下，我们需要编写在规定时间限制访问次数的需求，这里我们为了方便，使用ip来作为限制条件，其核心功能分类大致分为：

• 从未访问过web服务器
• 访问过web服务器，在规定时间内没有超出限制
• 访问过web服务器，在在规定时间内超出了限制
• 访问过web服务器，时间间隔超过了规定时间

如上分类，除了第三种需要限流外，其他则视为正常访问即可。

核心存储，我们可以选择go map，其中key为ip，value为结构体，该结构体包含访问次数和创建间戳。

其定义如下

我们来根据如上定义的核心功能来编写程序

从未访问过服务器

我们根据map中是否存在这个key来判断，如

_, ok := visitHashMap[ip]; if !ok {
    // 如果没有该ip的访问次数,则新增记录
}

访问过服务器，在规定时间超过了限制

if time.Now().Unix()-visit.createUnixTime >= interval*60 {
    // 在规定时间超过了限制，需要重新计算阈值
}

超过最大允许访问数

if visitHashMap[ip].number >= maxNum {
    // 超过允许最大访问次数
}

整理为其核心函数如下

功能测试

我们在定义路由地方，将来访者IP传入，就可以根据其返回的bool值来判断是否需要限制访问了。

其main函数定义如下:

func main() {
	SampleHttp.Route("get","/queryAll", func(info *SampleHttp.HttpInfo) {
		ip := strings.Split(info.RemoteIP,":")[0]
		if ! limits(ip) {
			info.Write([]byte(fmt.Sprintf("%s 已经被限制访问，在%d分钟内，访问达到%d次",time.Now(),interval,visitHashMap[ip].number)))
			return
		}
		info.Write([]byte(fmt.Sprintf("%s 收到queryAll请求,开始查询,返回1W字节数据信息...,统计信息: 在%d分钟内，访问达到%d次",time.Now(),interval,visitHashMap[ip].number)))
	})
	visitHashMap = make(map[string]visitInfo,0)
	SampleHttp.StartServer("0.0.0.0:8083")
}

我们将开启服务器来测试一下

通过上述执行结果图，可以看到，当1分钟内访问次数超过10次后，就被限制访问了，而从第一次访问时间到目前访问时间间隔达到1分钟以上后，限制就被解除了，可见功能已经完成了。

总结

如上只是实现了这种方法而已，在实际项目中，还需要详细的打磨才行，不然执行效率肯定堪忧，怎么样，限制这个看着好玩吧，快来试试吧，相关代码已经放置到了gitee上。