神出鬼没的Enderman

数据存储类型介绍

业务数据的特殊性

1. 原始业务功能设计

• 秒杀
• 618活动
• 双11活动
• 排队购票

2. 运营平台监控到的突发高频访问数据

• 突发时政要闻,被强势关注围观

3. 高频,复杂的统计数据

• 在线人数
• 投票排行榜

4. 附加功能

• 系统功能优化或升级
• 单服务器升级集群
• Session 管理
• Token 管理

Redis 数据类型(5种常用)

• string
• hash
• list
• set
• sorted_set

string 类型

• redis 自身是一个 Map，其中所有的数据都是采用 key : value 的形式存储
• 数据类型指的是存储的数据的类型，也就是 value 部分的类型，key 部分永远都是字符串

string 类型数据的基本操作

• 添加/修改数据

set key value

• 获取数据

get key

• 删除数据

del key

• 添加/修改多个数据

mset key1 value1 key2 value2 …

• 获取多个数据

mget key1 key2 …

• 获取数据字符个数(字符串长度)

strlen key

• 追加信息到原始信息后部(如果原始信息存在就追加，否则新建)

append key value

• 设置数值数据增加指定范围的值

incr key
incrby key increment
incrbyfloat key increment

• 设置数值数据减少指定范围的值

decr key
decrby key increment

• 设置数据具有指定的生命周期

setex key seconds value
psetex key milliseconds value

单数据操作与多数据操作的选择之惑

string 类型数据操作的注意事项

• 数据操作不成功的反馈与数据正常操作之间的差异

表示运行结果是否成功

• (integer) 0 → false 失败
• (integer) 1 → true 成功

表示运行结果值

• (integer) 3 → 3
• (integer) 1 → 1

数据未获取到

• (nil)等同于null

数据最大存储量

• 512MB

数值计算最大范围(java中的long的最大值)

• 9223372036854775807

string 类型应用场景

主页高频访问信息显示控制,例如新浪微博大V主页显示粉丝数与微博数量

解决方案

• 在redis中为大V用户设定用户信息,以用户主键和属性值作为key,后台设定定时刷新策略即可

举例	键	值
eg:	user:id:3506728370:fans	12210947
eg:	user:id:3506728370:blogs	6164
eg:	user:id:3506728370:focus	83

• 在redis中以json格式存储大V用户信息,定时刷新(也可以使用hash类型)

举例	键	值
eg:	user:id:3506728370	{"id":3506728370,"name":"春晚","fans":12210862,"blogs":6164, "focus":83}

• key 的设置约定

数据库中的热点数据key命名惯例

举例	表名	主键名	主键值	字段名
eg1	order	id	29437595	name
eg2	equip	id	390472345	type
eg3	news	id	202004150	title

hash 类型

• 新的存储需求:对一系列存储的数据进行编组,方便管理,典型应用存储对象信息
• 需要的存储结构:一个存储空间保存多个键值对数据
• hash类型:底层使用哈希表结构实现数据存储

hash存储结构优化

• 如果field数量较少,存储结构优化为类数组结构
• 如果field数量较多,存储结构使用HashMap结构

hash 类型数据的基本操作

• 添加/修改数据

hset key field value

• 获取数据

hget key field
hgetall key

• 删除数据

hdel key field1 [field2]

• 添加/修改多个数据

hmset key field1 value1 field2 value2 …

• 获取多个数据

hmget key field1 field2 …

• 获取哈希表中字段的数量

hlen key

• 判断哈希表中是否存在指定的字段

hexists key field

• 获取哈希表中所有的字段名或字段值

hkeys key
hvals key

• 设置指定字段的数值数据增加指定范围的值

hincrby key field increment
hincrbyfloat key field increment

hash 类型数据操作的注意事项

• hash类型下的value只能存储字符串,不允许存储其他数据类型,不存在嵌套现象.如果数据未获取到,对应的值为(nil)
• 每个 hash 可以存储\(2^{32}-1\)个键值对
• hash类型十分贴近对象的数据存储形式,并且可以灵活添加删除对象属性.但hash设计初衷不是为了存储大量对象而设计的,切记不可滥用,更不可以将hash作为对象列表使用
• hgetall操作可以获取全部属性,如果内部field过多,遍历整体数据效率就很会低,有可能成为数据访问瓶颈

hash 类型应用场景

电商网站购物车设计与实现

• 以客户id作为key,每位客户创建一个hash存储结构存储对应的购物车信息
• 将商品编号作为field,购买数量作为value进行存储
• 添加商品:追加全新的field与value
• 浏览:遍历hash
• 更改数量:自增/自减,设置value值
• 删除商品:删除field
• 清空:删除key
• 此处仅讨论购物车中的模型设计,购物车与数据库间持久化同步,购物车与订单间关系,未登录用户购物车信息存储不进行讨论

当前仅仅是将数据存储到了redis中,并没有起到加速的作用,商品信息还需要二次查询数据库.每条购物车中的商品记录保存成两条field

• field1专用于保存购买数量 命名格式：商品id:nums 保存数据：数值
• field2专用于保存购物车中显示的信息，包含文字描述，图片地址，所属商家信息等 命名格式：商品id:info

电商网站秒杀活动设计与实现

• 以商家id作为key
• 将参与抢购的商品id作为field
• 将参与抢购的商品数量作为对应的value
• 抢购时使用降值的方式控制产品数量
• 实际业务中还有超卖等实际问题,这里不做讨论

list 类型

• 数据存储需求:存储多个数据,并对数据进入存储空间的顺序进行区分
• 需要的存储结构:一个存储空间保存多个数据,且通过数据可以体现进入顺序
• list类型:保存多个数据,底层使用双向链表存储结构实现

list 类型数据基本操作

• 添加/修改数据

lpush key value1 [value2] ……
rpush key value1 [value2] ……

• 获取数据

lrange key start stop
lindex key index
llen key

• 获取并移除数据

lpop key
rpop key

• 规定时间内获取并移除数据

blpop key1 [key2] timeout
brpop key1 [key2] timeout
brpoplpush source destination timeout

• 移除指定数据

lrem key count value

list 类型数据操作注意事项

• list中保存的数据都是string类型的,数据总容量是有限的,最多\(2^{32}-1\)个元素(4294967295)
• list具有索引的概念,但是操作数据时通常以队列的形式进行入队出队操作,或以栈的形式进行入栈出栈操作
• 获取全部数据操作结束索引设置为-1
• list可以对数据进行分页操作,通常第一页的信息来自于list,第2页及更多的信息通过数据库的形式加载

list 类型应用场景

微博关注列表

• twitter、新浪微博、腾讯微博中个人用户的关注列表需要按照用户的关注顺序进行展示,粉丝列表需要将最近关注的粉丝列在前面
• 新闻、资讯类网站如何将最新的新闻或资讯按照发生的时间顺序展示?
• 企业运营过程中,系统将产生出大量的运营数据,如何保障多台服务器操作日志的统一顺序输出?

解决方案

• 依赖list的数据具有顺序的特征对信息进行管理
• 使用队列模型解决多路信息汇总合并的问题
• 使用栈模型解决最新消息的问题

set 类型

• 新的存储需求:存储大量的数据,在查询方面提供更高的效率
• 需要的存储结构:能够保存大量的数据,高效的内部存储机制,便于查询
• set类型:与hash存储结构完全相同,仅存储键,不存储值(nil),并且值是不允许重复的

set 类型数据的基本操作

• 添加数据

sadd key member1 [member2]

• 获取全部数据

smembers key

• 删除数据

srem key member1 [member2]

• 获取集合数据总量

scard key

• 判断集合中是否包含指定数据

sismember key member

• 随机获取集合中指定数量的数据

srandmember key [count]

• 随机获取集合中的某个数据并将该数据移出集合

spop key [count]

• 求两个集合的交,并,差集

sinter key1 [key2]
sunion key1 [key2]
sdiff key1 [key2]

• 求两个集合的交,并,差集并存储到指定集合中

sinterstore destination key1 [key2]
sunionstore destination key1 [key2]
sdiffstore destination key1 [key2]

• 将指定数据从原始集合中移动到目标集合中

smove source destination member

set 类型数据操作的注意事项

• set 类型不允许数据重复,如果添加的数据在 set 中已经存在,将只保留一份
• set 虽然与hash的存储结构相同,但是无法启用hash中存储值的空间

set 类型应用场景

OA系统交,并,差集应用

• 集团公司共具有12000名员工,内部OA系统中具有700多个角色,3000多个业务操作,23000多种数据,每 位员工具有一个或多个角色,如何快速进行业务操作的权限校验？

解决方案

• 依赖set集合数据不重复的特征,依赖set集合hash存储结构特征完成数据过滤与快速查询
• 根据用户id获取用户所有角色
• 根据用户所有角色获取用户所有操作权限放入set集合
• 根据用户所有角色获取用户所有数据全选放入set集合

网站统计

• 公司对旗下新的网站做推广,统计网站的PV(访问量),UV(独立访客),IP(独立IP).
• PV:网站被访问次数,可通过刷新页面提高访问量
• UV:网站被不同用户访问的次数,可通过cookie统计访问量,相同用户切换IP地址,UV不变
• IP:网站被不同IP地址访问的总次数,可通过IP地址统计访问量,相同IP不同用户访问,IP不变

解决方案

• 利用set集合的数据去重特征,记录各种访问数据
• 建立string类型数据,利用incr统计日访问量(PV)
• 建立set模型,记录不同cookie数量(UV)
• 建立set模型,记录不同IP数量(IP)

sorted_set 类型

• 新的存储需求:数据排序有利于数据的有效展示,需要提供一种可以根据自身特征进行排序的方式
• 需要的存储结构:新的存储模型,可以保存可排序的数据
• sorted_set类型:在set的存储结构基础上添加可排序字段

sorted_set 类型数据的基本操作

• 添加数据

zadd key score1 member1 [score2 member2]

• 获取全部数据

zrange key start stop [WITHSCORES]
zrevrange key start stop [WITHSCORES]

• 删除数据

zrem key member [member ...]

min与max用于限定搜索查询的条件

start与stop用于限定查询范围,作用于索引,表示开始和结束索引

offset与count用于限定查询范围,作用于查询结果,表示开始位置和数据总量

• 按条件获取数据

zrangebyscore key min max [WITHSCORES] [LIMIT]
zrevrangebyscore key max min [WITHSCORES]

• 条件删除数据

zremrangebyrank key start stop
zremrangebyscore key min max

• 获取集合数据总量

zcard key
zcount key min max

• 集合交,并操作

zinterstore destination numkeys key [key ...]
zunionstore destination numkeys key [key ...]

sorted_set 类型数据操作的注意事项

• score保存的数据存储空间是64位,如果是整数范围是-9007199254740992~9007199254740992
• score保存的数据也可以是一个双精度的double值,基于双精度浮点数的特征,可能会丢失精度,使用时 候要慎重
• sorted_set 底层存储还是基于set结构的,因此数据不能重复,如果重复添加相同的数据,score值将被反复覆盖,保留最后一次修改的结果

sorted_set 类型应用场景

存储会员有效时间

• 基础服务+增值服务类网站会设定各位会员的试用,让用户充分体验会员优势.例如观影试用VIP,游戏 VIP体验,云盘下载体验VIP,数据查看体验VIP.当VIP体验到期后,如果有效管理此类信息.即便对于正式 VIP用户也存在对应的管理方式.

解决方案

• 对于基于时间线限定的任务处理,将处理时间记录为score值,利用排序功能区分处理的先后顺序
• 记录下一个要处理的时间,当到期后处理对应任务,移除redis中的记录,并记录下一个要处理的时间
• 当新任务加入时,判定并更新当前下一个要处理的任务时间
• 为提升sorted_set的性能,通常将任务根据特征存储成若干个sorted_set.例如1小时内,1天内,周内, 月内,季内,年度等,操作时逐级提升,将即将操作的若干个任务纳入到1小时内处理的队列中
• 获取当前系统时间

任务/消息权重设定应用

• 当任务或者消息待处理,形成了任务队列或消息队列时,对于高优先级的任务要保障对其优先处理,如 何实现任务权重管理.

解决方案

• 对于带有权重的任务,优先处理权重高的任务,采用score记录权重即可 多条件任务权重设定
• 如果权重条件过多时,需要对排序score值进行处理,保障score值能够兼容2条件或者多条件,例如外贸 订单优先于国内订单,总裁订单优先于员工订单,经理订单优先于员工订单
• 因score长度受限,需要对数据进行截断处理,尤其是时间设置为小时或分钟级即可(折算后)
• 先设定订单类别,后设定订单发起角色类别,整体score长度必须是统一的,不足位补0.第一排序规则首 位不得是0
• 例如外贸101,国内102,经理004,员工008.
• 员工下的外贸单score值为101008(优先)
• 经理下的国内单score值为102004

数据类型实践案例

计数器限制调用频率

• 人工智能领域的语义识别与自动对话将是未来服务业机器人应答呼叫体系中的重要技术,百度自研用户评价 语义识别服务,免费开放给企业试用,同时训练百度自己的模型.现对试用用户的使用行为进行限速,限制 每个用户每分钟最多发起10次调用

解决方案

• 设计计数器,记录调用次数,用于控制业务执行次数.以用户id作为key,使用次数作为value
• 在调用前获取次数,判断是否超过限定次数
• 不超过次数的情况下,每次调用计数+1 业务调用失败,计数-1
• 为计数器设置生命周期为指定周期,例如1秒/分钟,自动清空周期内使用次数

微信消息列表

• 使用微信的过程中,当微信接收消息后,会默认将最近接收的消息置顶,当多个好友及关注的订阅号同时发 送消息时,该排序会不停的进行交替.同时还可以将重要的会话设置为置顶.一旦用户离线后,再次打开微 信时,消息该按照什么样的顺序显示?

解决方案

• 依赖list的数据具有顺序的特征对消息进行管理,将list结构作为栈使用
• 对置顶与普通会话分别创建独立的list分别管理
• 当某个list中接收到用户消息后,将消息发送方的id从list的一侧加入list(此处设定左侧)
• 多个相同id发出的消息反复入栈会出现问题,在入栈之前无论是否具有当前id对应的消息,先删除对应id
• 推送消息时先推送置顶会话list,再推送普通会话list,推送完成的list清除所有数据
• 消息的数量,也就是微信用户对话数量采用计数器的思想另行记录,伴随list操作同步更新