Hbase详细架构图解

[TOC](Hbase详细架构图解)  **注意**：Hbase是依赖zookeeper和hdfs的，需要启动zk和hdfs。 # 主要组件 **Zookeeper：** HBase 通过 Zookeeper 来做 Master 的高可用、RegionServer 的监控、元数据的入口以及集群配置的维护等工作。 **HDFS：** HDFS 为 HBase 提供最终的底层数据存储服务，同时为 HBase 提供高可用的支持。 **Master：（是所有 Region Server 的管理者，其实现类为 HMaster）** - 对RegionServer的操作： 1. **监控**RegionServer 3. 处理RegionServer**故障转移** 4. 处理**元数据**的变更 5. 处理region的**分配或转移** 6. 在空闲时间进行数据的**负载均衡** 7. 通过Zookeeper发布自己的位置给客户 - 对于表的操作（DDL） create, delete, alter **RegionServer：（为 Region 的管理者，其实现类为 HRegionServer）** 1．负责存储HBase的实际数据 2．处理分配给它的Region 3．刷新缓存到HDFS 4．维护Hlog 5．执行压缩 6．负责处理Region分片 对于数据的操作：（DML） get, put, delete； **Region：** Hbase表的分片，HBase表会根据RowKey值被切分成不同的region存储在RegionServer中，在一个RegionServer中可以有多个不同的region。 **Hlog：** 又称Write-Ahead logs（WAL）预写入日志。 HBase的修改记录，当对HBase读写数据的时候，数据不是直接写进磁盘，它会在内存中保留一段时间（时间以及数据量阈值可以设定）。由于数据要经 MemStore 排序后才能刷写到 StoreFile，但把数据保存在内存中可能有更高的概率引起数据丢失，为了解决这个问题，数据会先写在一个叫做Write-Ahead logfile的文件中，然后再写入内存中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。 **Store：** StoreFile存储在Store中，一个Store对应HBase表中的一个列族(列簇， Column Family)。 **MemStore：** 写缓存，由于 StoreFile中的数据要求是有序的，所以数据是先存储在 MemStore 中，排好序后，等到达刷写时机才会刷写到 StoreFile，每次刷写都会形成一个新的 StoreFile。 **StoreFile：** 这是在磁盘上保存原始数据的实际的物理文件，是实际的存储文件。StoreFile是以Hfile的形式存储在HDFS的。每个 Store 会有 一个或多个 StoreFile，数据在每个 StoreFile 中都是有序的（按照Rowkey的字典顺序排序）。 **Hfile：** 可以理解成一种文件格式（其他的文件格式TXT，orc，parquet...），StoreFile是以hfile格式存储的。 # 数据模型 逻辑结构图  物理存储结构  1. **Name Space** 命名空间，类似于关系型数据库的 DatabBase 概念，每个命名空间下有多个表。HBase有两个自带的命名空间，分别是 hbase 和 default，hbase 中存放的是 HBase 内置的表，default 表是用户默认使用的命名空间。 3. **Row** HBase 表中的每行数据都由一个 **RowKey** 和多个 **Column**（列）组成，数据是按照 RowKey的字典顺序存储的，并且查询数据时只能根据 RowKey 进行检索，所以 RowKey 的设计十分重要。 4. **Column** HBase 表中的每行数据都由一个 RowKey 和多个 Column（列）组成，数据是按照 RowKey的字典顺序存储的，并且查询数据时只能根据 RowKey 进行检索，所以 RowKey 的设计十分重要。 5. **Time Stamp** 用于标识数据的不同版本（version），每条数据写入时，如果不指定时间戳，系统会自动为其加上该字段，其值为写入 HBase 的时间。 6. **Cell** 由{rowkey, column Family：column Qualifier, time Stamp} 唯一确定的单元。cell 中的数据是没有类型的，全部是字节码形式存贮（byte[]数组）。