热点问题: 客户端的请求大量集中在某一个节点,导致该节点上的负载非常高,而其他节点负载过低的-
现象数据倾斜: 由于计算任务大量集中在某一个节点,导致该节点上的负载非常高,而其他节点负载过低的现象
区别:热点问题: 请求层面,热点问题可能会造成数据倾斜数据倾斜: 计算层面,数据倾斜不一定由热点问题造成
原因:热点问题在很多场景中都会发生,在hbase中表现造成热点问题的原因是1.客户端大量请求的rowkey连续集中在某一个region上2.表中只有一个分区,所有的请求都集中在这个region上3.表没有预分区,也没有开启均衡,所有的分区都集中在某个节点
解决:1.需要设计好表的分区region范围,避免分区范围不均衡,通过分区范围解决2.需要创建预分区,多分区,通过分区个数解决
背景: 在创建表的时候,默认只有一个分区,此时容易操作服务端热点问题
概念: 在创建表的时候,根据rowkey的分布来设计一张表刚开始就有多个分区,分区需要根据rowkey的前缀或者完整的rowkey来设计,因为region的分配就是根据rowkey来划分分区的
THE END