Surprisas económicas de sistemas balanceados

Un sistema con varios servidores detrás de un balanceador de carga puede tener un comportamiento inesperado en términos de latencia. La latencia se refiere al tiempo que tarda un sistema en responder a una solicitud.

Al aumentar el número de servidores, la latencia promedio disminuye rápidamente, acercándose asintóticamente a un segundo. Esto se debe a que la probabilidad de que una solicitud sea encolada disminuye a medida que aumenta el número de servidores. Por ejemplo, con 5 servidores, el 96,4% de las solicitudes son atendidas sin que se produzca una cola, lo que reduce la latencia adicional.

“La mejora en la latencia no solo se aplica a la latencia promedio, sino también a los percentiles”

La mejora en la latencia no solo se aplica a la latencia promedio, sino también a los percentiles. La mediana y los percentiles altos siguen una curva similar a la de la latencia promedio. Esto es beneficioso para la economía de la nube y los servicios, ya que permite una mejor utilización de los recursos a la misma latencia o una mejor latencia a la misma utilización.

El modelo M/M/c, que describe un sistema con un proceso de llegada de Poisson y un tiempo de servicio exponencial, se utiliza para analizar este comportamiento. Aunque las suposiciones de este modelo pueden no ser del todo realistas, los resultados son robustos y se aplican a una variedad de escenarios. En resumen, aumentar el número de servidores en un sistema con balanceador de carga puede mejorar significativamente la latencia, lo que lo convierte en una estrategia valiosa para optimizar el rendimiento de los sistemas distribuidos.