Redis pop队列
code_boy 人气:0最近,在工作中遇到了一个关于Redis中list集合一次性pop所有数据的问题,相信很多小伙伴也会碰到拿到同样的问题,所以就拿出来聊一聊了。
业务场景及问题的提出
业务的情景是这样的,服务A 是面向客户的服务,主要是用了Redis作为存储的,而服务B是面向业务人员使用的,服务A 的数据服务B 是需要拿到的,所以我会把每次服务A 的请求参数放到一个Redis的队列中,而服务B 会起一个线程来定时的获取我队列的数据,其实这里涉及到了一个简易RPC框架的设计,下篇文章会来聊一聊我们这个简易RPC 框架的设计变迁,大致的架构如下:
所以现在问题就来了,内部的定时服务如果一次pop一个那性能可就太差了,所以现在我们就需要支持一个可以自定义pop出队列元素个数的方法,而redis本身是没有这种方法的,所以得我们自己来设计,一起来聊一聊吧。
解决方案
1.多次请求
这应该是正常人都可以想到的办法了,任何问题都可以使用一个for循环来解决,如果不行,那就再来一个for循环,我们来看下这个简单的代码:
public List<String> multiRPopForCycle(String key, int size) { // 获取当前队列里的值 int curSize = Math.toIntExact(redisTemplate.opsForList().size(key)); if (curSize == 0) { return Collections.emptyList(); } // 最终可以取出的数量 int finalSize = Math.toIntExact(Math.min(curSize, size)); List<String> resultList = new ArrayList<>(); for (int i = 0; i < finalSize; i++) { String popElement = redisTemplate.opsForList().rightPop(key); resultList.add(popElement); } return resultList; }
这个代码写出来很简单,但是它好危险啊,如果我们需要pop出的数据很多怎么办,每次都需要进行通信,这来来回回就会产生很多时耗,上生产我们是没办法接受的,所以必须改进。 因为pop出多个元素,我们不可避免的需要进行for循环进行pop然后收集返回,也就是说我们需要执行多次redis的pop命令,为了减少通信时耗,我们可以一次性将所有的命令都发过去,一起执行,而实现这种方案我们有以下两种方法:
2.利用Redis事务
利用redis的事务来实现:拿到连接后,开启事务,然后进行执行pop命令,代码如下:
/** * 通过事务机制来pop出多个元素 * * @param key 键 * @param size 需要取出的元素个数 * @return 返回取出的元素集合 */ public List<String> multiRPopTx(String key, int size) { // 获取当前队列里的值 int curSize = Math.toIntExact(redisTemplate.opsForList().size(key)); if (curSize == 0) { return Collections.emptyList(); } // 最终可以取出的数量 int finalSize = Math.toIntExact(Math.min(curSize, size)); // 事务支持 return redisTemplate.execute(new SessionCallback<List<Object>>() { @Override public List<Object> execute(RedisOperations redisOperations) throws DataAccessException { redisOperations.multi(); for (int i = 0; i < finalSize; i++) { redisOperations.opsForList().rightPop(key); } return redisOperations.exec(); } }).stream().map(obj -> (String) obj).collect(Collectors.toList()); }
3.利用Pipeline
当然了,还可以使用我们之前讲的pipeline来实现:
/** * 一次性pop出指定数量的数据 * * @param key 键 * @param size 需要取出的元素个数 * @return 返回取出的元素集合 */ public List<String> multiRPopPipeline(String key, int size) { // 获取当前队列里的值 int curSize = Math.toIntExact(redisTemplate.opsForList().size(key)); if (curSize == 0) { return Collections.emptyList(); } // 判断操作次数 return redisTemplate.executePipelined(new SessionCallback<String>() { @Override public String execute(RedisOperations redisOperations) throws DataAccessException { final int finalSize = Math.toIntExact(Math.min(curSize, size)); for (int i = 0; i < finalSize; i++) { redisOperations.opsForList().rightPop(key); } return null; } }).stream().map(obj -> (String) obj).collect(Collectors.toList()); }
其实在我们这种场景中是没必要使用事务的,使用事务还会带来一定的性能损耗,所以最终选择的是方案三,即基于管道来实现pop多个元素。
加载全部内容