golang redis中Pipeline通道

时间:2022-06-05 sweey_lff 人气:0

goredis库连接客户端

package client
import (
    "github.com/go-redis/redis"
    "github.com/sirupsen/logrus"
)

var MainRDS *redis.Client
func init() {
    ConnectRedis()
}
func ConnectRedis() {
    MainRDS = redis.NewClient(&redis.Options{Addr: "127.0.0.1:6379", Password: "******"})
    err := MainRDS.Ping().Err()
    if err != nil {
        logrus.Infof("[ConnectRedis]connect redis error:%s", err.Error())
        panic("init client error")
    }
}

一、pipeline出现的背景

redis客户端执行一条命令分4个过程：

发送命令－> 命令排队－> 命令执行－> 返回结果

这个过程称为Round trip time(简称RTT, 往返时间)，mget、mset有效节约了RTT，但大部分命令不支持批量操作，需要消耗N次RTT ，这个时候需要pipeline来解决这个问题。

Pipeline 主要是一种网络优化,它本质上意味着客户端缓冲一堆命令并一次性将它们发送到服务器，减少了每条命令分别传输的IO开销, 同时减少了系统调用的次数，因此提升了整体的吞吐能力,节省了每个命令的网络往返时间（RTT）。

二、pipeline的用法

Pipeline 基本示例如下：

pipe := Redis.Pipeline()
pipe.Del(context.Background(), "test1")
pipe.Del(context.Background(), "test2")
ret, err := pipe.Exec(context.Background())
fmt.Println(ret, err)

上面的代码相当于将以下两个命令一次发给redis server端执行与不使用Pipeline相比能减少一次RTT。

del test1
del test2

pipeline命令的使用

PS:如果redis采用了集群部署，不可以直接使用pipeline命令进行操作，因为访问的key可能并不在同一个节点上

// PipelineGetHashField 使用pipeline命令获取多个hash key的单个字段
// keyList，需要获取的hash key列表
// field 需要获取的字段值
func PipelineGetHashField(keyList []string,filed string) []string {
    pipeClient :=client.MainRDS.Pipeline()
    for _, key := range keyList {
        pipeClient.HGet(key, filed)
    }
    res, err := pipeClient.Exec()
    if err != nil {
        if err != redis.Nil {
            logrus.WithField("key_list", keyList).Errorf("[PipelineGetHashField] get from redis error:%s", err.Error())
        }
        /********** ！！！！！！！！！！*************/
        // 注意这里如果某一次获取时出错（常见的redis.Nil），返回的err即不为空
        // 如果需要处理redis.Nil为默认值，此处不能直接return
    }
    valList := make([]string, 0, len(keyList))
    for index, cmdRes := range res {
        var val string
        // 此处断言类型为在for循环内执行的命令返回的类型,上面HGet返回的即为*redis.StringCmd类型
        // 处理方式和直接调用同样处理即可
        cmd, ok := cmdRes.(*redis.StringCmd) 
        if ok {
            val,err = cmd.Result()
            if err != nil {
                logrus.WithField("key",keyList[index]).Errorf("[PipelineGetHashField] get key error:%s",err.Error())
            }
        }
        valList = append(valList, val)
    }
    return valList
}

加载全部内容