HBase(四)读优化

https://blog.csdn.net/weixin_40954192/article/details/106942029 LSM 存储引擎是在 B+树的基础上衍生过来的,目的就是为了在读和写之间,提高写的性能。所以,LSM 树的弊端也由此可见,对读并不是很友好,所以,针对 LSM 树,有后续 compact,布隆过滤器,blockCache 等优化方式。来弥补对读的查询。LSM 树的索引一般由 2 部分构成,一部分是内存部分,一部分是磁盘部分。内存部分采用跳跃表来维护一个有序的 KV 集合,也就是 memstore.随着内存不断数据写入,一旦内存占用超过 ...

HBase(三)LSM树

https://zhuanlan.zhihu.com/p/181498475 LSM 树(Log-Structured-Merge-Tree)的名字往往会给初识者一个错误的印象,事实上,LSM 树并不像 B+树、红黑树一样是一颗严格的树状数据结构,它其实是一种存储结构,目前HBase、LevelDB、RocksDB 这些 NoSQL 存储都是采用的 LSM 树。LSM 树的核心特点是利用顺序写来提高写性能,但因为分层(此处分层是指的分为内存和文件两部分)的设计会稍微降低读性能,但是通过牺牲小部分读性能换来高性能写,使得 LSM 树成为非常流行的存储结构。 数据库存储有两种数据结构,一种 B ...

HBase 读优化

https://blog.csdn.net/weixin_40954192/article/details/106942029 LSM 存储引擎是在 B+树的基础上衍生过来的,目的就是为了在读和写之间,提高写的性能。所以,LSM 树的弊端也由此可见,对读并不是很友好,所以,针对 LSM 树,有后续 compact,布隆过滤器,blockCache 等优化方式。来弥补对读的查询。LSM 树的索引一般由 2 部分构成,一部分是内存部分,一部分是磁盘部分。内存部分采用跳跃表来维护一个有序的 KV 集合,也就是 memstore.随着内存不断数据写入,一旦内存占用超过 ...

HBase 系统架构

本文基本是对 MapR 的官网文章An In-Depth Look at the HBase Architecture的翻译 HBase 存储架构HBase 采用 Master/Slave 架构搭建集群,它隶属于 Hadoop 生态系统,由一下类型节点组成:HMaster 节点、HRegionServer 节点、ZooKeeper 集群,而在底层,它将数据存储于 HDFS 中,因而涉及到 HDFS 的 NameNode、DataNode 等,总体结构如下: HMaster 节点 管理 HRegionServer,实现其负载均衡。 管理和分配 HRegion,比如在 HRegion s ...

HBase LSM树

https://zhuanlan.zhihu.com/p/181498475 LSM 树(Log-Structured-Merge-Tree)的名字往往会给初识者一个错误的印象,事实上,LSM 树并不像 B+树、红黑树一样是一颗严格的树状数据结构,它其实是一种存储结构,目前HBase、LevelDB、RocksDB 这些 NoSQL 存储都是采用的 LSM 树。LSM 树的核心特点是利用顺序写来提高写性能,但因为分层(此处分层是指的分为内存和文件两部分)的设计会稍微降低读性能,但是通过牺牲小部分读性能换来高性能写,使得 LSM 树成为非常流行的存储结构。 数据库存储有两种数据结构,一种 B ...

HBase(二)Docker搭建

docker 脚本可以从链接获取修改 docker-compse.xml 文件,注意端口映射 version: "2" services: zookeeper-1: container_name: zookeeper-1 networks: ["vnet"] hostname: zookeeper-1.vnet image: smizy/zookeeper:3.4-alpine ports: ["2181:2181"] environment: - SERV ...

HBase (一)系统架构

本文基本是对 MapR 的官网文章An In-Depth Look at the HBase Architecture的翻译 HBase 存储架构HBase 采用 Master/Slave 架构搭建集群,它隶属于 Hadoop 生态系统,由一下类型节点组成:HMaster 节点、HRegionServer 节点、ZooKeeper 集群,而在底层,它将数据存储于 HDFS 中,因而涉及到 HDFS 的 NameNode、DataNode 等,总体结构如下: HMaster 节点 管理 HRegionServer,实现其负载均衡。 管理和分配 HRegion,比如在 HRegion s ...

HBase(一)系统架构

本文基本是对 MapR 的官网文章An In-Depth Look at the HBase Architecture的翻译 HBase 存储架构HBase 采用 Master/Slave 架构搭建集群,它隶属于 Hadoop 生态系统,由一下类型节点组成:HMaster 节点、HRegionServer 节点、ZooKeeper 集群,而在底层,它将数据存储于 HDFS 中,因而涉及到 HDFS 的 NameNode、DataNode 等,总体结构如下: HMaster 节点 管理 HRegionServer,实现其负载均衡。 管理和分配 HRegion,比如在 HRegion s ...