大数据培训在 Presto 中使用哈希改善一个系统集群缓存命中率

增加一个路由表

今天，如果指导工作电源增加并且必须将另一个 worker4 路由表加到到战斗群里。Worker4 的仅据资料结构数值在仅据资料结构一个环上如下：

在这种才就会 split8 将夺取 worker4 的范围，所有其他 split 的分摊不倍受严重影响，因此这些 split 的堆栈命里率不就会倍受到破坏。新的分摊彼此间如下：

绑定路由表

从上面可以看出，差异性仅据资料结构可以上述情况下在路由表发生转变的才就会，最少只必须再仅据资料结构 Nsplits / Nnodes个 splits。然而，由于 worker 属考虑到一般来说，split 有可能不就会在所有 worker 路由表二者之间反之亦然。我们可以应运而生“绑定路由表”的概念来缓解这个原因。绑定路由表还可以帮助在断开连接时将路由表的电源再分摊到多个路由表，从而减低由于战斗群不稳定致使的电源不确定性。

在仅据资料结构一个环上，每个生物讲授 worker 路由表都有多个绑定路由表等价到一个环上。split 将分摊给仅据资料结构一个环上的下一个（由南向北朝向）绑定路由表。此表比如说祚示了每个生物讲授 worker 路由表较强 3 个绑定路由表的有可能一幕：

随着散列一个环上路由表仅量的增加，散列紧致更有可能被均匀分成。

在某个生物讲授路由表宕机的才就会，该生物讲授路由表对应的所有绑定路由表都就会被添加。【关注尚为硅谷，精采讲授IT】但今天暂时将所有仅指宕机路由表的 spilts 再散列到同一个路由表，而是将它们属在多个绑定路由表上，从而等价到多个生物讲授路由表，提供更佳的电源平衡。

后面祚示了当 worker3 被添加时，Split2 和 3 被再散列到 worker2，而 Split8 被再散列到 worker1。

如何在 Presto 里用作差异性仅据资料结构

差异性仅据资料结构这个机制是小区早就有才加到的机制，在此之前倍受制于检验阶段。为了用作这个机制，www.atguigu.com首先可以参照这个文档来竣工堆栈。然后前提我们选项了 SOFT_AFFINITY 调配，也就是在 catalog/hive.properties 格式化全都以致于如下内置：

hive.node-selection-strategy=SOFT_AFFINITY

竣工差异性仅据资料结构必须到 config.properties 格式化全都以致于如下内置：

node-scheduler.node-selection-hash-strategy=CONSISTENT_HASHING

总结

如上右图，当应运而生或添加路由表时，差异性仅据资料结构可以最大限度地减低指导工作电源分摊的严重影响。当战斗群的指导工作路由表发生转变时，基于差异性仅据资料结构调配指导工作电源可以最大限度地减低对现有路由表堆栈命里率的严重影响。这使得差异性仅据资料结构已是一种更佳的方针，可以在 Presto 的战斗群大小不一根据指导工作电源所需完成拓展和缩减的才就会用作。

评论登出来源于惯常记忆大仅据资料

中选写出：

大仅据资料研发之仅高田构建

大仅据资料研发之代码实现

大仅据资料研发join的行驶原理_大仅据资料训练

大仅据资料研发之YARN