Modal Auto Endpoints: Infección optimizada que tú posees

Modal ha lanzado una nueva función llamada Modal Auto Endpoints, que permite a los equipos manejar la inferencia de modelos de lenguaje grande sin depender de proveedores externos.

La herramienta ofrece un servicio OpenAI API compatible y permite a los usuarios crear endpoints con comandos CLI o interfaz web. Esto facilita el despliegue rápido de modelos como GLM 5.2, eliminando la necesidad de llamadas telefónicas para obtener asesoramiento adicional.

“Modal asegura que no oculta las métricas ni el código subyacente del usuario, brindando transparencia total en la infraestructura y los procesos”

Modal asegura que no oculta las métricas ni el código subyacente del usuario, brindando transparencia total en la infraestructura y los procesos. Esto incluye detalles sobre selección de GPU, regionalización y ajustes del motor de inferencia.

La plataforma Modal, respaldada por una sólida infraestructura, permite a los usuarios pagar solo por lo que usan y ofrece escalado automático para manejar picos de demanda sin necesidad de reservar capacidad de GPU de forma anticipada.

Además, Modal ha integrado un nuevo componente llamado Modal Servers, diseñado específicamente para la inferencia con latencia baja. Estos servidores proporcionan una capa adicional de escalabilidad y rendimiento, minimizando el tiempo de respuesta a solo 5 milisegundos sin comprometer la confiabilidad.

Este enfoque facilita que los equipos controlen completamente su infraestructura de inferencia mientras mantienen un alto nivel de rendimiento y flexibilidad.