亲宝软件园·资讯

展开

Redis pop队列

code_boy 人气:0

最近,在工作中遇到了一个关于Redis中list集合一次性pop所有数据的问题,相信很多小伙伴也会碰到拿到同样的问题,所以就拿出来聊一聊了。

业务场景及问题的提出

业务的情景是这样的,服务A 是面向客户的服务,主要是用了Redis作为存储的,而服务B是面向业务人员使用的,服务A 的数据服务B 是需要拿到的,所以我会把每次服务A 的请求参数放到一个Redis的队列中,而服务B 会起一个线程来定时的获取我队列的数据,其实这里涉及到了一个简易RPC框架的设计,下篇文章会来聊一聊我们这个简易RPC 框架的设计变迁,大致的架构如下:

所以现在问题就来了,内部的定时服务如果一次pop一个那性能可就太差了,所以现在我们就需要支持一个可以自定义pop出队列元素个数的方法,而redis本身是没有这种方法的,所以得我们自己来设计,一起来聊一聊吧。

解决方案

1.多次请求

这应该是正常人都可以想到的办法了,任何问题都可以使用一个for循环来解决,如果不行,那就再来一个for循环,我们来看下这个简单的代码:

      public List<String> multiRPopForCycle(String key, int size) {
        // 获取当前队列里的值
        int curSize = Math.toIntExact(redisTemplate.opsForList().size(key));
        if (curSize == 0) {
            return Collections.emptyList();
        }
        // 最终可以取出的数量
        int finalSize = Math.toIntExact(Math.min(curSize, size));
        List<String> resultList = new ArrayList<>();
        for (int i = 0; i < finalSize; i++) {
            String popElement = redisTemplate.opsForList().rightPop(key);
            resultList.add(popElement);
        }
        return resultList;
    }

这个代码写出来很简单,但是它好危险啊,如果我们需要pop出的数据很多怎么办,每次都需要进行通信,这来来回回就会产生很多时耗,上生产我们是没办法接受的,所以必须改进。 因为pop出多个元素,我们不可避免的需要进行for循环进行pop然后收集返回,也就是说我们需要执行多次redis的pop命令,为了减少通信时耗,我们可以一次性将所有的命令都发过去,一起执行,而实现这种方案我们有以下两种方法:

2.利用Redis事务

利用redis的事务来实现:拿到连接后,开启事务,然后进行执行pop命令,代码如下:

         /**
     * 通过事务机制来pop出多个元素
     *
     * @param key       键
     * @param size      需要取出的元素个数
     * @return          返回取出的元素集合
     */
    public List<String> multiRPopTx(String key, int size) {
        // 获取当前队列里的值
        int curSize = Math.toIntExact(redisTemplate.opsForList().size(key));
        if (curSize == 0) {
            return Collections.emptyList();
        }
        // 最终可以取出的数量
        int finalSize = Math.toIntExact(Math.min(curSize, size));
        // 事务支持
        return redisTemplate.execute(new SessionCallback<List<Object>>() {
            @Override
            public List<Object> execute(RedisOperations redisOperations) throws DataAccessException {
                redisOperations.multi();
                for (int i = 0; i < finalSize; i++) {
                    redisOperations.opsForList().rightPop(key);
                }
                return redisOperations.exec();
            }
        }).stream().map(obj -> (String) obj).collect(Collectors.toList());
    }

3.利用Pipeline

当然了,还可以使用我们之前讲的pipeline来实现:

     /**
     * 一次性pop出指定数量的数据
     *
     * @param key       键
     * @param size      需要取出的元素个数
     * @return          返回取出的元素集合
     */
    public List<String> multiRPopPipeline(String key, int size) {
        // 获取当前队列里的值
        int curSize = Math.toIntExact(redisTemplate.opsForList().size(key));
        if (curSize == 0) {
            return Collections.emptyList();
        }
        // 判断操作次数
        return redisTemplate.executePipelined(new SessionCallback<String>() {
            @Override
            public String execute(RedisOperations redisOperations) throws DataAccessException {
                final int finalSize = Math.toIntExact(Math.min(curSize, size));
                for (int i = 0; i < finalSize; i++) {
                    redisOperations.opsForList().rightPop(key);
                }
                return null;
            }
        }).stream().map(obj -> (String) obj).collect(Collectors.toList());
    }

其实在我们这种场景中是没必要使用事务的,使用事务还会带来一定的性能损耗,所以最终选择的是方案三,即基于管道来实现pop多个元素。

加载全部内容

相关教程
猜你喜欢
用户评论