server的映射過(guò)程是:根據(jù)key找到對(duì)應(yīng)的點(diǎn),然后順時(shí)針(逆時(shí)針也行,但要統(tǒng)一順或者逆)找到最" />

日韩久久久精品,亚洲精品久久久久久久久久久,亚洲欧美一区二区三区国产精品 ,一区二区福利

consistent hashing and open-source implement

系統(tǒng) 2472 0

一致性哈希要解決的問(wèn)題很常見(jiàn):如何將許多鍵值(譬如md5的值域空間)分布到多個(gè)服務(wù)器節(jié)點(diǎn)。

直接的做法是一個(gè)普通的哈希(譬如取模),但如果服務(wù)器節(jié)點(diǎn)可能會(huì)動(dòng)態(tài)變化,每次節(jié)點(diǎn)的變化都會(huì)導(dǎo)致絕大多數(shù)映射的失效,不好。

一致性哈希的做法是,將key的值域看做是一個(gè)環(huán),每個(gè)服務(wù)器映射為多個(gè)環(huán)上的點(diǎn)(virtual node),所有服務(wù)器的點(diǎn)的集合將環(huán)分成多個(gè)區(qū)段,key->server的映射過(guò)程是:根據(jù)key找到對(duì)應(yīng)的點(diǎn),然后順時(shí)針(逆時(shí)針也行,但要統(tǒng)一順或者逆)找到最近的虛擬節(jié)點(diǎn),該vnode對(duì)應(yīng)的server,將用來(lái)處理這個(gè)key。

值得注意的是,一個(gè)服務(wù)器要映射為多個(gè)virtual node(例如100-200個(gè)),而且virtual node要均勻分布在環(huán)上(要是這100個(gè)都挨著,就失去意義了)。考慮一個(gè)極端情況,每個(gè)服務(wù)器都映射為一個(gè)vnode,那么某服務(wù)器失效的時(shí)候,它的負(fù)載都被下一臺(tái)服務(wù)器承擔(dān)去了,失去了均衡負(fù)載的效果了。

實(shí)踐上,還可以根據(jù)服務(wù)器的能力和當(dāng)前負(fù)載來(lái)動(dòng)態(tài)的調(diào)整某服務(wù)器映射的vnode的個(gè)數(shù),以更好地平衡負(fù)載。

假設(shè)環(huán)的空間為md5的值域,即0-2^128-1,實(shí)現(xiàn)的時(shí)候,要考慮兩個(gè)hash。

1,server->vnode_list的映射,這可以通過(guò)將server的ip地址附加上若干個(gè)編號(hào)(或隨機(jī)數(shù)),md5以后得到對(duì)應(yīng)的vnode列表。

2,resource_key->ring_key的映射,譬如resource key是URL,那么直接md5就行了。

還要考慮一個(gè)區(qū)段劃分關(guān)系,即各個(gè)vnode負(fù)責(zé)的區(qū)段是哪些,這用一個(gè)二叉樹(shù)或者數(shù)組就行了,查找的時(shí)候,對(duì)數(shù)組進(jìn)行二分就可以了。

最后就是一個(gè)vnode到server的從屬關(guān)系,也即上面兩個(gè)hash第一個(gè)的逆映射,記錄就行了。

consistent hashing在許多互聯(lián)網(wǎng)平臺(tái)實(shí)現(xiàn)中都是標(biāo)準(zhǔn)的工具,譬如Amazon的Dynamo(參見(jiàn)論文Dynamo: Amazon's Highly Available Key-value Store)。

對(duì)于memcache,consistent hashing是在client端做的,可以參見(jiàn)last.fm的實(shí)現(xiàn): http://cn.last.fm/user/RJ/journal/2007/04/10/rz_libketama_-_a_consistent_hashing_algo_for_memcache_clients

更多參見(jiàn)wiki條目 http://en.wikipedia.org/wiki/Consistent_hashing


consistent hashing and open-source implementation


更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號(hào)聯(lián)系: 360901061

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長(zhǎng)非常感激您!手機(jī)微信長(zhǎng)按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對(duì)您有幫助就好】

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長(zhǎng)會(huì)非常 感謝您的哦?。?!

發(fā)表我的評(píng)論
最新評(píng)論 總共0條評(píng)論
主站蜘蛛池模板: 石屏县| 忻州市| 讷河市| 泗阳县| 东阿县| 苍溪县| 黔西县| 乌兰浩特市| 临泽县| 北海市| 孝义市| 明水县| 高雄市| 西贡区| 迁安市| 历史| 海盐县| 平罗县| 新沂市| 夏津县| 喜德县| 长沙县| 霍州市| 米脂县| 和硕县| 建湖县| 镇远县| 偏关县| 华池县| 祁东县| 南召县| 兴和县| 林甸县| 鹿泉市| 若羌县| 永新县| 积石山| 仪陇县| 平顺县| 衡阳市| 依兰县|