一、 缓存的收益和成本

1.1 优点

加速读写；降低后端负载

1.2成本

数据不一致性：缓存层和存储层的数据存在着差异

代码维护成本：同时维护缓存层和存储层的逻辑

运维成本

缓存的使用场景：

开销大的复杂计算：比如MySQL一些复杂的操作或者计算，如果不加缓存，MySQL在并发量大的时候，可能扛不住

加速请求响应

二、 缓存的更新策略

2.1 LRU/LFU/FIFO 算法剔除

一般算法剔除是指缓存数目超过了指定 的预设值，如何对现有缓存的数据进行剔除。比如最近很少的缓存项，比如最近频繁使用的缓存想，或者先进的先踢出来

2.2 超时剔除

一般是给缓存数据设置过期时间，让其在过期后自动删除。

2.3 主动更新

一般是指对数据一致性要求较高，需要在真实数据更新后，立即更新缓存数据，当然维护成本比较高。

2.4 最佳实践

低一致性业务建议配置最大内存和淘汰策略
高一致性业务建议结合使用超时剔除和主动更新

三、缓存粒度控制

缓存全部属性or部分重要属性？

缓存粒度问题是一个容易被忽视的问题，如果使用不当，可能会造成很多无用空间的浪费，可能会造成网络带宽的浪费，可能会造成代码通用性较差等情况，必须学会综合数据通用性、空间占用比、代码维护性 三点评估取舍因素权衡使用。

四、穿透优化

缓存穿透：是指查询一个根本不存在的数据，缓存层和存储层都不会命中，通常我们不会将存储层查不到的数据写入缓存。这将导致这个不存在的数据每次请求都要到存储层去查询，失去了缓存的意义。

例如：下图是一个比较典型的cache-storage架构，cache(例如memcache, redis等等) + storage(例如mysql, hbase等等)架构，查一个压根就不存在的值, 如果不做兼容，永远会查询storage。


缓存穿透的危害：
对底层数据源(mysql, hbase, http接口, rpc调用等等)压力过大，有些底层数据源不具备高并发性。

解决方法：

4.1 缓存空对象

(1) 定义：如上图所示，当第②步MISS后，仍然将空对象保留到Cache中（可能是保留几分钟或者一段时间，具体问题具体分析），下次新的Request（同一个key）将会从Cache中获取到数据，保护了后端的Storage。
(2) 适用场景：数据命中不高，数据频繁变化实时性高（一些乱转业务）
(3) 维护成本：代码比较简单，但是有两个问题：

  • 第一是空值做了缓存，意味着缓存系统中存了更多的key-value，也就是需要更多空间（有人说空值没多少，但是架不住多啊），解决方法是我们可以设置一个较短的过期时间。
  • 第二是数据会有一段时间窗口的不一致，假如，Cache设置了5分钟过期，此时Storage确实有了这个数据的值，那此段时间就会出现数据不一致，解决方法是我们可以利用消息或者其他方式，清除掉Cache中的数据.

(4)伪代码

public class XXXService {  
  
    /** 
     * 缓存 
     */  
   private Cache cache = new Cache();  
  
   /** 
    * 存储 
    */  
   private Storage storage = new Storage();  
  
   /** 
     * 模拟正常模式 
     * @param key 
     * @return 
     */  
   public String getNormal(String key) {  
      // 从缓存中获取数据  
      String cacheValue = cache.get(key);  
      // 缓存为空  
      if (StringUtils.isBlank(cacheValue)) {  
      // 从存储中获取  
      String storageValue = storage.get(key);  
      // 如果存储数据不为空,将存储的值设置到缓存  
      if (StringUtils.isNotBlank(storageValue)) {  
          cache.set(key, storageValue);  
      }  
      return storageValue;  
      } else {  
       // 缓存非空  
        return cacheValue;  
      }  
     }  
  
 
    /** 
    * 模拟防穿透模式 
     * @param key 
     * @return 
     */  
   public String getPassThrough(String key) {  
        // 从缓存中获取数据  
       String cacheValue = cache.get(key);  
        // 缓存为空  
       if (StringUtils.isBlank(cacheValue)) {  
            // 从存储中获取  
           String storageValue = storage.get(key);  
            cache.set(key, storageValue);  
          // 如果存储数据为空，需要设置一个过期时间(300秒)  
            if (StringUtils.isBlank(storageValue)) {  
               cache.expire(key, 60 * 5);  
           }  
           return storageValue;  
       } else {  
           // 缓存非空  
            return cacheValue;  
        }  
   }  
}

4.2 bloomfilter或者压缩filter(bitmap等等)提前拦截

(1)定义：如上图所示，在访问所有资源(cache, storage)之前，将存在的key用布隆过滤器提前保存起来，做第一层拦截, 例如： 我们的推荐服务有4亿个用户uid, 我们会根据用户的历史行为进行推荐（非实时），所有的用户推荐数据放到hbase中，但是每天有许多新用户来到网站，这些用户在当天的访问就会穿透到hbase。为此我们每天4点对所有uid做一份布隆过滤器。如果布隆过滤器认为uid不存在，那么就不会访问hbase，在一定程度保护了hbase（减少30%左右）。
(2) 适用场景：数据命中不高，数据相对固定实时性低（通常是数据集较大）
(3) 维护成本：代码维护复杂, 缓存空间占用少

五、无底洞优化

为什么在有的场景，水平添加节点性能不但没有好转反而下降了。这种现象称为缓存的无底洞现象。即更多的节点不代表跟高的性能，投入越多，不一定产出越高。

原因：
一般来说我们加节点，使得集群的性能应该更好，但是为什么性能反而下降了呢？key-value数据库，一般采用哈希函数将key映射到各个节点，造成key的分布和业务无关，但是由于数据量和访问量的持续增长，造成需要添加大量节点做水平扩容，导致key-value分布到更多的节点上，对于Redis批量操作需要从不同节点获取，相比于单机批量操作只涉及一次网络操作，分布式批量操作会涉及到多次网络时间。

无底洞问题分析：

  • 客户端一次批量操作会涉及多次网络操作，就意味着批量操作会随着节点的增多耗时会不断扩大
  • 网络连接数变多，对接点的性能也有一定影响

四种批量优化的方法：

  • 串行mget
    我们执行mget，写一个for循环执行每一个get
    n次网络时间
    优点：编程简单，少量keys满足需求
    缺点：大量keys请求延迟严重
  • 串行IO
    我在客户端本地做一个内聚，本地有槽和节点的对应关系，就按节点对get进行分组，执行n次pipeline就可以完成对应的mget 。
    nodes次网络时间
    优点：编程简单，少量节点满足需求
    缺点：大量node延迟严重
  • 并行IO
    就是多线程进行串行IO
    1次网络时间
    优点：利用并行特性，延迟取决于最慢的节点
    缺点：编程复杂，超时定位问题难
  • hash_tag
    mget(hash_tag)
    1次网络时间
    优点：性能最高
    缺点：读写增加tag的维护成本，tag分布易出现数据倾斜

六、雪崩

指的是缓存层由于某些原因挂了，或者不能提供服务，从而导致流量疯狂的涌入了后端存储层，存储层调用暴涨，造成存储层可能会级联宕机。如下图：


预防和解决雪崩效应的方案：

  • 保证缓存层服务高可用性
  • 依赖隔离组件，为后端限流或者降级

无论是缓存还是存储层都有出错的概率，可以将他们都视作资源。作为并发量较大的系统，假如有一个资源不可用，可能会造成线程全部阻塞，从而系统不可用。

降级机制在高并发系统中非常普遍：比如推荐服务，如果个性化推荐不可用，可以降级补充热点数据。在实际项目中，我们对重要的资源比如Redis，MySQL,HBase或者其他外部接口都进行隔离，每一种资源都单独运行在自己的线程池中，对其他服务没有影响。

七、热点Key重建优化

缓存+过期策略一般情况下，可以加速读写，又保证了数据定期更新，可以满足大部分需求，但是如果有2个问题同时出现，可能造成较大的危害：

  • 当前的key是一个热点key，并发量非常大
  • 重建缓存不可能在短时间内完成，可能是一个复杂的SQL或者多次IO等等。

在缓存失效的瞬间，大量线程来重建缓存，造成后端负载加大，甚至崩溃。

两个解决方案：

  • 互斥锁：重建过程加锁，其他访问获取缓存发现重建过程被锁住了，会进行等待并输出。
    优点：思路简单，保证一致性。
    缺点：代码复杂度增加，存在死锁风险。
  • 永远不过期：
    缓存层面：没有设置过期时间(没有用expire)。
    功能层面：为每个value添加逻辑过期时间，一但发现超过逻辑过期时间后，会使用单独的线程去构建缓存。
    优点：基本杜绝热点key重建问题。
    缺点：不保证一致性，逻辑过期时间增加维护成本和内存成本。

推荐阅读：
缓存那些事