Redis数据结构原理浅析
yunmengmeng 人气:0RedisDb
Redis服务器默认有16个数据库,一个数据库对应一个RedisDB数据结构。
typedef struct redisDb { dict *dict; dict *expires; dict * blocking_keys; dict * ready_keys; dict * watched_keys; ...... }
- dict:键空间散列表,用于存放所有键值对
- expires:过期时间散列表,存放键的过期时间
- blocking_keys:处于阻塞状态的键和对应的client
- ready_keys:解除阻塞状态的键和对应的client,与blocking_keys属性相对
- watched_keys:watch的键和对应的client,主要用于事务
RedisObject
Redis的键值都是redisObject对象,每次当我们在Redis的数据库中新创建一个键值对时,会生成一个用于键名的redisObject对象和一个用于键值的redisObject对象
trpedef struct RedisObject { int4 type; int4 encoding; void *ptr; int24 lru; int32 refcount; }
字段 | 描述 | 说明 |
---|---|---|
type | 用于表示Redis对应的类型 | string、list、hash、set、zset、stream等,用枚举表示 |
encoding | 内部编码 | int,embstr,raw,hashtable,quicklist, ziplist,intset,skiplist等,用枚举表示 |
lru | 24位,可选LFU或LRU | 当为LRU时,表示最后一次访问时间;当为LFU时,高16位用来表示分钟级别的访问时间,低8位用来表示访问频次,频次的增加使用的是概率算法,基数越大越难增加;访问时间更新时,存在一定概率将访问频次衰减。(两者共有)访问时间是对一个数取模,当前时间也取模, 当前时间大于访问时间,则为两数之差;当前时间小于访问时间,则为当前时间加上模数与访问时间之差 |
refcount | 引用计数 | 初始值为1,实际应用中参考意义不大 |
ptr | 指针,占8个字节,指向数据的地址 | dict、expires等,指针指向同一个地址 |
object
命令,就是对RedisObject的相关操作。
修改内存淘汰策略
object idletime key # 返回key的空闲时间,即上次读写键以来经过的近似描述,在lfu模式下不可用
config set maxmemory-policy volatile-lfu # 修改内存淘汰策略 set name zhangsan object freq name # 获取计数值,仅lfu模式下可用,初始化为5 get name object freq name # 再次访问,返回为6
int
当string值为整数并且小于等于long的最大值时,encoding为int类型,ptr直接指向该int型地址
embstr与raw
Redis的字符串叫SDS(Simple Dynamic String,简单字符串),对应key,非整数型的String值
trpedef struct SDS { int8 capacity; // 数组容量 int8 len; // 实际长度 int8 flags; byte[] content; // 数组内容 }
可以看出,SDS与Java的ArrayList结构类似,也是分配初始长度,长度超出时扩容。Redis规定字符串的长度不能超过512M。
当长度特别短时,使用embstr形式存储;当长度超出44字节时,使用raw形式存储。
已知内存分配器最大分配单位是64字节,RedisObject占16个字节,SDS标识占3个字节,字符串以NULL结尾需要占用一个字节,因此当字符串长度小于等于44时,只需要分配一次内存。RedisObject与SDS在同一内存单位,我们将这种数据结构称为embstr,而不在同一内存单位的,称为raw。
dict
dict(encoding编码为hashtable类型,字典)对应hash、set、zset(用于存储value与score的映射)集合。
dict与Java的HashMap结构类似,不同的是HashMap扩容是申请数组,然后遍历,将旧数据重新hash后挂到数组下面,作为单线程的Redis很难承受这样耗时的过程,所以它使用了两个数组,先返回,然后空闲的时候一点一点搬数据,搬完之后再将旧数据清空,我们将这样的过程成为渐进式rehash。
typedef struct dict { dictht ht[2]; }
加载全部内容