【赵渝强老师】Memcached的路由算法

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
简介: Memcached支持两种客户端路由算法:求余数Hash算法和一致性Hash算法。求余数Hash算法通过键值对服务器数量取模分配数据,虽分布均匀但扩容缩容时易丢失数据。一致性Hash算法则通过哈希环减少数据丢失,仅影响故障节点相关数据,在集群扩容或节点宕机时表现更优。

副本_副本_副本_副本_副本_副本_副本_副本_副本_副本_副本_副本_Oracle-课程封面__2025-05-18+10_01_49.png

Memcached支持两种不同方式的客户端路由算法,即:求余数Hash算法和一致性Hash算法。下面分别进行介绍。

一、 求余数的路由算法

求余数Hash算法的客户端路由是对插入数据的键进行求余数,根据余数来决定存储到哪个Memcached实例。视频讲解如下:

例如:Memcached服务器端有三台MemCached实例。那么客户端进行路由时会根据键值对3进行求余数的操作。下面的示例中的键分别为:7、6、5.

7%3=1,那么数据值路由到第2台Memcached实例。
6%3=0,那么数据值路由到第1台Memcached实例。
5%3=2,那么数据值路由到第3台Memcached实例。

提示:求余数Hash算法的客户端路由的优点在于,能够使数据均匀地分布在每个Memcached实例上。但是它也存在很大的缺点,就是当进行扩容缩容操作时,或者某个Memcached实例出现宕机的情况。该算法会出现严重的数据丢失。


下面通过一个简单的示例来说明求余数Hash算法的数据是如何丢失的。

扩容前有3个Memcached实例:7%3=1,6%3=0,5%3=2,......
扩容后有4个Memcached实例:7%4=3,6%4=2,5%4=1,......


当有3个Memcached实例时,7号键存储在第2台Memcached实例上,而扩容后变成了存储在4台Memcached实例上,其他的键以此类推。这就导致了存取的目标位置不一样,从而造成数据的丢失。


二、 一致性Hash算法

为了解决求余数Hash算法的数据丢失问题,Memcached又提出了一致性Hash算法的客户端路由。通过使用该算法能够将丢失的数据减小到最小,但不能完全解决宕机造成的数据丢失的问题。视频讲解如下:


下图展示了一致性Hash算法基本原理。

image.png


在初始的状态下有三个Memcached服务器实例,分别是:node1、node2和node3。其中:node1将保存键从1~333之间的数据值;node2将保存键从333~666之间的数据值;node3将保存键从667~1000之间的数据值。Memcached一致性Hash路由算法的扩容和缩容视频讲解如下:


下图进一步说明当Memcached集群发生扩容时数据存储位置的变化。

image.png


当Memcached集群发生故障出现宕机时,一致性Hash算法能够将丢失的数据减小到最小。如下图所示。当node3节点出现故障而宕机时,只会影响键从667~1000这部分的数据值。而存储在node1和node2上的数据将不会有任何的变化。换句话说,node3的宕机只影响了三分之一的数据。

image.png




相关文章
|
6月前
|
存储 缓存 数据库
【赵渝强老师】Memcached的数据存储方式
Memcached 是一个高性能的分布式内存对象缓存系统,用于减轻数据库压力,支持高负载网站。它通过内存中的巨大 Hash 表存储各种数据,但不支持数据持久化。视频讲解和数据存储方式图示详见内容。
111 4
|
6月前
|
存储 缓存 NoSQL
【赵渝强老师】Memcached集群的架构
Memcached 是一个高性能的分布式内存对象缓存系统,通过在内存中维护一个巨大的 Hash 表来存储各种格式的数据,如图像、视频、文件及数据库检索结果等。它主要用于减轻数据库压力,提高网站系统的性能。Memcached 不支持数据持久化,因此仅作为缓存技术使用。其数据分布式存储由客户端应用程序实现,而非服务端。
163 0
【赵渝强老师】Memcached集群的架构
|
9月前
|
算法
基于多路径路由的全局感知网络流量分配优化算法matlab仿真
本文提出一种全局感知网络流量分配优化算法,针对现代网络中多路径路由的需求,旨在均衡分配流量、减轻拥塞并提升吞吐量。算法基于网络模型G(N, M),包含N节点与M连接,并考虑K种不同优先级的流量。通过迭代调整每种流量在各路径上的分配比例,依据带宽利用率um=Σ(xm,k * dk) / cm来优化网络性能,确保高优先级流量的有效传输同时最大化利用网络资源。算法设定收敛条件以避免陷入局部最优解。
|
9月前
|
负载均衡 算法 网络协议
动态路由的主流算法
【8月更文挑战第3天】BGP 协议使用的算法是路径矢量路由协议(path-vector protocol)。它是距离矢量路由协议的升级版。
|
11月前
|
缓存 算法
基于机会网络编码(COPE)的卫星网络路由算法matlab仿真
**摘要:** 该程序实现了一个基于机会网络编码(COPE)的卫星网络路由算法,旨在提升无线网络的传输效率和吞吐量。在MATLAB2022a中测试,结果显示了不同数据流个数下的网络吞吐量。算法通过Dijkstra函数寻找路径,计算编码机会(Nab和Nx),并根据编码机会减少传输次数。当有编码机会时,中间节点执行编码和解码操作,优化传输路径。结果以图表形式展示,显示数据流与吞吐量的关系,并保存为`R0.mat`。COPE算法预测和利用编码机会,适应卫星网络的动态特性,提高数据传输的可靠性和效率。
|
11月前
|
传感器 算法 安全
基于WSN网络的定向步幻影路由算法matlab仿真
该文探讨了无线传感器网络中的位置隐私保护,对比了NDRW路由与定向步幻影路由在安全时间和能耗方面的性能。在MATLAB2022a中进行测试,结果显示NDRW路由提供最长的安全时间,尤其在长距离传输时,且在近距离下能耗低于幻影路由。幻影路由虽消耗更多能量,但通过随机步创造幻影源以增强安全性。NDRW路由利用非确定性随机游走策略,避免拥堵并提高效率,而幻影路由则引入方向性控制,通过启发式算法优化路径选择。
|
10月前
|
存储 传感器 算法
基于ACO蚁群优化算法的WSN网络路由优化matlab仿真
摘要(Markdown格式): - 📈 ACO算法应用于WSN路由优化,MATLAB2022a中实现,动态显示迭代过程,输出最短路径。 - 🐜 算法模拟蚂蚁寻找食物,信息素更新与蚂蚁选择策略确定路径。信息素增量Δτ += α*τ*η,节点吸引力P ∝ τ / d^α。 - 🔁 算法流程:初始化→蚂蚁路径选择→信息素更新→判断结束条件→输出最优路由。优化WSN能量消耗,降低传输成本。
|
网络协议 算法 数据库
【专栏】OSPF是广泛应用的链路状态路由协议,通过分层网络结构和SPF算法实现高效路由。强烈建议收藏!
【4月更文挑战第28天】OSPF是广泛应用的链路状态路由协议,通过分层网络结构和SPF算法实现高效路由。其关键特性包括区域划分、链路状态数据库、邻居关系和路由更新。工作过程涉及邻居发现、信息交换、数据库构建、路由计算及收敛。理解OSPF对于网络管理和规划具有重要意义。
197 1
|
算法 网络协议 数据建模
【计算机网络】—— IP协议及动态路由算法(下)
【计算机网络】—— IP协议及动态路由算法(下)
146 0
OSZAR »