跳到主要内容

87、HBase块缓存

块缓存

HBase提供了两种不同的BlockCache实现，来缓存从HDFS中读取的数据：默认的on-heap LruBlockCache和BucketCache（通常是off-heap）。本节讨论每个实现的优点和缺点、如何选择适当的选项以及每种配置选项。

缓存选择

LruBlockCache是原始实现，完全在Java堆内。 BucketCache是可选的，主要用于保持块缓存数据脱离堆，尽管BucketCache也可以是文件支持的缓存。

当您启用BucketCache时，您将启用两层缓存系统。我们曾经将层描述为“L1”和“L2”，但是已经不赞成使用hbase-2.0.0的这个术语。“L1”缓存引用了LruBlockCache的一个实例，并且将“L2”引用到了堆外的BucketCache。相反，当启用BucketCache时，所有DATA块都保存在BucketCache层中，元块（INDEX和BLOOM块）在LruBlockCache堆中。这两个层次的管理以及控制它们之间的块移动的策略是由 CombinedBlockCache 完成的。

常规缓存配置

除了缓存实现本身之外，您可以设置一些常规配置选项来控制缓存的执行方式。请参阅CacheConfig。设置了其中任何选项后，重新启动或滚动重新启动群集以使配置生效。检查日志以查找错误或意外行为。

LruBlockCache设计

LruBlockCache是一个LRU缓存，它包含三个块级别的优先级以允许扫描电阻和内存中的ColumnFamilies：

  • 单一访问优先级：从HDFS首次加载块时，它通常具有此优先级，它将成为驱逐期间要考虑的第一个组的一部分。其优点是，扫描块比获得更多用量的块更有可能被驱逐。
  • 多重访问优先级：如果先前优先级组中的块再次被访问，则会升级到此优先级。因此它是在驱逐期间考虑的第二组的一部分。
  • 内存访问优先级：如果该块的系列配置为“内存中（in-memory）”，则无论访问次数如何，都将成为此优先级的一部分。目录表是这样配置的。这个小组是在驱逐过程中考虑的最后一个小组。要将列族标记为内存中，请调用：
    HColumnDescriptor.setInMemory(true);

如果从java创建表，或者在shell中创建或更改表时设置IN_MEMORY ⇒ true，例如：

hbase(main):003:0> create  't', {NAME => 'f', IN_MEMORY => 'true'}

LruBlockCache用法

所有用户表默认启用块缓存，这意味着任何读取操作都会加载LRU缓存。这对于大量的用例可能是有益的，但通常需要进一步的调整才能获得更好的性能。一个重要的概念是工作集大小或WSS，即：“计算问题答案所需的内存量”。对于一个网站，这将是在短时间内回答查询所需的数据。

计算缓存中HBase有多少内存的方法是：

number of region servers * heap size * hfile.block.cache.size * 0.99

块缓存的默认值为0.4，表示可用堆的40％。最后一个值（99％）是在驱逐开始之后LRU缓存中的默认可接受加载因子。它被包含在这个等式中的原因是，说可以使用100％的可用内存是不现实的，因为这会使得该过程从加载新块的位置阻塞。下面是一些示例：

  • 一个区域服务器的堆大小设置为1 GB，默认块高速缓存大小将具有405 MB的块高速缓存可用。
  • 20个区域服务器的堆大小设置为8 GB，并且默认块高速缓存大小将具有63.3个块高速缓存。
  • 堆大小设置为24 GB并且块缓存大小为0.5的100个区域服务器将拥有大约1.16 TB的块缓存。

您的数据不是块缓存的唯一常驻者。以下是您可能必须考虑的其他问题：

目录表

该hbase:meta表被强制进入块缓存并具有内存优先级，这意味着它们更难以驱逐。（根据区域的数量，hbase：meta表格可以占用几个MB。）

HFiles索引

一个HFILE是HBase的使用将数据存储在HDFS文件格式。它包含一个多层索引，它允许HBase在不必读取整个文件的情况下查找数据。这些索引的大小是块大小（默认为64KB），密钥大小和存储的数据量的一个因素。对于大数据集，每个区域服务器的数字大约为1GB并不罕见，但并不是所有的数据都会被缓存，因为LRU会逐出未使用的索引。

按键

存储的值仅为图片的一半，因为每个值都与其键一起存储（行键，族限定符和时间戳）。

Bloom过滤器

就像HFile索引一样，这些数据结构（启用时）都存储在LRU中。

目前，衡量HFile索引和bloom过滤器大小的推荐方法是查看区域服务器Web UI并检查相关度量标准。对于密钥，可以使用HFile命令行工具完成采样并查找平均密钥大小度量。从HBase 0.98.3开始，您可以在用户界面的特殊Block Cache部分查看有关BlockCache统计信息和指标的详细信息。

当WSS不适合内存时，使用块缓存通常是不好的。例如，在所有区域服务器的块高速缓存中都有40GB可用的情况，但您需要处理1TB的数据。其中一个原因是由驱逐产生的流失会不必要地触发更多的垃圾收集。这里有两个用例：

  • 完全随机读取模式：这种情况下，几乎不会在短时间内访问同一行两次，从而使得缓存块的命中率接近于0。在这样的表上设置块缓存会浪费内存和CPU周期，更多的是它会产生更多的垃圾来由JVM提取。
  • 映射表：在典型的MapReduce作业中，每个行都只能读取一次，因此不需要将它们放入块缓存。Scan对象可以通过setCaching方法将其关闭（将其设置为false）。如果您需要快速随机读取访问，您仍然可以在此表上保持块缓存打开状态。一个例子就是统计表中提供实时流量的行数，缓存该表的每个块都会产生大量流失，并且肯定会驱逐当前正在使用的数据。
仅高速缓存META块（fscache中的数据块）

一个有趣的设置是我们只缓存META块，并在每个访问中读取DATA块。如果DATA块适用于fscache，则当访问在非常大的数据集中完全随机时，此替代方法可能有意义。要启用此设置，请更改您的表格和每个列族集：BLOCKCACHE ⇒ ‘false’。您只对此列族 “禁用” BlockCache。您永远不能禁用META块的缓存。由于HBASE-4683总是缓存索引和bloom块，所以即使BlockCache被禁用，我们也会缓存META块。

堆外块缓存

如何启用BucketCache

BucketCache的通常部署是通过一个管理类来设置两个缓存层：由LruBlockCache实现的堆缓存和使用BucketCache实现的第二个缓存。管理类默认为CombinedBlockCache。上一个链接描述了CombinedBlockCache实现的缓存“策略”。简而言之，它的工作方式是将元块（INDEX和BLOOM）保留在堆上的LruBlockCache层中，并将DATA块保存在BucketCache层中。

Pre-hbase-2.0.0版本

与原生堆内LruBlockCache相比，从hbase-2.0.0之前的BucketCache中获取数据时，抓取总是比较慢。但是，随着时间的推移，延迟趋于不那么不稳定，因为使用BucketCache时垃圾收集较少，因为它正在管理BlockCache分配，而不是GC。如果BucketCache部署在堆外模式下，则该内存根本不由GC管理。这就是为什么你会在2.0.0之前使用BucketCache，所以你的延迟不那么不稳定，为了减少GC和堆碎片，所以你可以安全地使用更多的内存。

在2、0.0之前版本中，可以配置BucketCache，以便接收LruBlockCache驱逐的victim。所有数据和索引块首先缓存在L1中。当驱逐发生在 L1，块（或victims）将移至L2。设置cacheDataInL1通过(HColumnDescriptor.setCacheDataInL1(true)或shell，设置CACHE_DATA_IN_L1为true：来创建或修改列族，如：

hbase(main):003:0> create 't', {NAME => 't', CONFIGURATION => {CACHE_DATA_IN_L1 => 'true'}}

hbase-2.0.0 +版本

HBASE-11425更改了HBase读取路径，以便它可以将读取数据从堆中保留，避免将缓存数据复制到java堆上。在hbase-2.0.0中，堆外延迟接近堆缓存延迟时间，并且不会引发GC。

从HBase 2.0.0开始，L1和L2的概念已被弃用。当BucketCache打开时，DATA块将总是进入BucketCache，而INDEX/BLOOM块将进入堆LRUBlockCache。cacheDataInL1支持已被删除。

BucketCache块缓存可以部署为堆外（off-heap）、文件（file）或mmaped文件模式。

您可以通过hbase.bucketcache.ioengine设置来进行设置。将它设置为offheap使BucketCache将其分配置于堆外，并且file:PATH_TO_FILE的ioengine设置将指示BucketCache使用文件缓存（特别是在您将某些快速I/O附加到SSD等盒子时有用）。从2.0.0开始，可以有多个文件支持BucketCache。当缓存大小要求很高时，这非常有用。对于多个备份文件，将ioengine配置为files:PATH_TO_FILE1,PATH_TO_FILE2,PATH_TO_FILE3。BucketCache也可以配置为使用mmapped文件。将 ioengine 配置为 mmap: PATH_TO_FILE。

可以在我们绕过CombinedBlockCache策略的情况下部署分层设置，并将BucketCache作为严格的L2缓存工作到L1 LruBlockCache。对于这样的设置，设置hbase.bucketcache.combinedcache.enabled为false。在这种模式下，从L1中逐出时，块将转到L2。当一个块被缓存时，它会先在L1中缓存。当我们去寻找缓存块时，我们先看看L1，如果找不到，那么搜索L2。我们称这种部署格式为Raw L1 + L2。注意：这个L1 + L2模式从2.0.0中删除。当使用BucketCache时，它将严格地是DATA缓存，并且LruBlockCache将缓存INDEX/META块。

其他BucketCache配置包括：指定要在重新启动时保持缓存的位置、使用多少线程来编写缓存等。

要检查它是否启用，请查找描述缓存设置的日志行，它将详细介绍BucketCache的部署方式。另请参阅UI。它将详细介绍缓存分层及其配置。

BucketCache示例配置

此示例为具有1 GB堆缓存的4 GB脱离堆BucketCache提供配置。

在RegionServer上执行配置。

设置hbase.bucketcache.ioengine和hbase.bucketcache.size> 0启用CombinedBlockCache。让我们假设RegionServer已经设置为以5G堆运行：即HBASE_HEAPSIZE=5g。

1、 首先，编辑RegionServer的hbase-env.sh，并将HBASE_OFFHEAPSIZE设置为大于所需的堆外大小的值，在本例中为4GB（表示为4G）我们将其设置为5G对于我们的堆外缓存，这将是4G，对于任何其他堆外内存使用（除了BlockCache以外，还有其他堆外存储器的用户，例如RegionServer中的DFSClient可以使用堆外存储器）；

    HBASE_OFFHEAPSIZE=5G

2、 接下来，将以下配置添加到RegionServer的hbase-site.xml；

    <property>
      <name>hbase.bucketcache.ioengine</name>
      <value>offheap</value>
    </property>
    <property>
      <name>hfile.block.cache.size</name>
      <value>0.2</value>
    </property>
    <property>
      <name>hbase.bucketcache.size</name>
      <value>4196</value>
    </property>

3、 重新启动或滚动重新启动群集，并检查日志是否有任何问题；

在上面，我们将BucketCache设置为4G。我们将堆上的LruBlockCache配置为RegionServer堆大小的20％（0.2）（0.2 * 5G = 1G）。换句话说，像通常一样配置L1 LruBlockCache（就好像没有L2高速缓存一样）。

HBase-10641引入了为HBase 0.98和更高版本的BucketCache的bucket配置多种大小的功能。要配置多个存储区大小，请将新属性hfile.block.cache.sizes（而不是hfile.block.cache.size）配置为以逗号分隔的块大小列表（从最小到最大排列），并且不含空格。目标是根据您的数据访问模式优化存储bucket大小。以下示例配置大小为4096和8192的存储bucket。

<property>
  <name>hfile.block.cache.sizes</name>
  <value>4096,8192</value>
</property>

HBase中的直接内存使用情况

默认的最大直接内存因JVM而异。传统上它是64M或某一关系到被分配的堆大小（-Xmx）或根本没有限制（JDK7）。HBase服务器使用直接内存，特别是短路读取，承载的DFSClient将分配直接内存缓冲区。DFSClient使用的数量不容易量化；它是打开的HFiles*hbase.dfs.client.read.shortcircuit.buffer.size的数目，其中hbase.dfs.client.read.shortcircuit.buffer.size设置为128k。如果你使用堆外缓存，你将会使用直接内存。RPCServer使用ByteBuffer池。从2.0.0开始，这些缓冲区是堆外ByteBuffers。启动您的JVM，在conf/hbase-env.sh中确保-XX:MaxDirectMemorySize设置，考虑堆外块缓存(hbase.bucketcache.size)、DFSClient使用，RPC端ByteBufferPool最大大小。这必须比堆外BlockCache大小和最大ByteBufferPool大小的总和要高一点。为最大直接内存大小分配额外的1-2 GB在测试中起作用。直接内存是Java进程堆的一部分，与-Xmx分配的对象堆是分开的。MaxDirectMemorySize分配的值不得超过物理RAM，并且由于其他内存要求和系统限制，可能会少于总可用RAM。

您可以通过查看UI 中的“服务器度量标准：内存（Server Metrics: Memory）”选项卡，查看RegionServer配置为使用多少内存和堆外/直接内存以及以及每次使用的时间。它也可以通过JMX获取。特别是可以在java.nio.type=BufferPool,name=directbean 上找到服务器当前使用的直接内存。Terracotta在Java中使用非堆内存有一个很好的记录。这是为了他们的产品BigMemory，但是很多问题都提到了对任何试图外堆的尝试，检查出来。

hbase.bucketcache.percentage.in.combinedcache

这是一个HBase 1.0之前的配置，因为它很混乱。这是一个浮点数，你会设置0.0到1.0之间的某个值，它的默认值是0.9。如果部署使用CombinedBlockCache，则LruBlockCache L1大小计算为：(1 - hbase.bucketcache.percentage.in.combinedcache) * size-of-bucketcache ，BucketCache大小为：hbase.bucketcache.percentage.in.combinedcache * size-of-bucket-cache。如果size-of-bucket-cache指定为Megabytes，则它EITHER配置hbase.bucketcache.size的值；如果hbase.bucketcache.size在0到1.0之间，则hbase.bucketcache.size * -XX:MaxDirectMemorySize。

在1、0中，它应该更直接。Onheap LruBlockCache大小设置为使用hfile.block.cache.size设置（并非最佳）的java堆的一小部分，并且BucketCache在绝对兆字节中设置为上述值。

压缩BlockCache

HBASE- 11331引入了懒惰的BlockCache解压缩，更简单地称为压缩BlockCache。当启用压缩BlockCache时，数据和编码数据块将以磁盘格式缓存在BlockCache中，而不是在缓存之前解压缩和解密。

对于承载更多数据而不适合缓存的RegionServer，通过SNAPPY压缩启用此功能可以使吞吐量增加50％，平均延迟增加30％，同时将垃圾收集增加80％，并增加整体CPU负载2％。有关如何衡量和实现性能的更多详细信息，请参阅HBASE-11331。对于容纳适合缓存的数据的RegionServer，或者如果您的工作负载对额外的CPU或垃圾收集负载敏感，则可能会收到较少的收益。

压缩的BlockCache默认是禁用的。要启用它，请在所有RegionServers的hbase-site.xml中设置hbase.block.data.cachecompressed为true。