Servicio SQL para tablas con miles de millones de filas o hasta 1 millón de columnas

Un nuevo servicio de bases de datos SQL permite manejar tablas con miles de millones de filas o hasta un millón de columnas. El servicio, llamado SynSQL, utiliza un enfoque distribuido para almacenar y procesar los datos.

SynSQL delega el almacenamiento físico a servidores MariaDB, que actúan como brokers de datos. Las tablas anchas se dividen en chunks verticales, cada uno mapeado a un broker específico. Las tablas estrechas se consideran como una sola tabla chunk. Todas las tablas se particionan obligatoriamente a través de nodos utilizando una clave hash principal. Cuando se realiza una consulta en un servidor SynSQL, se crea dinámicamente un árbol de procesos de Linux que consulta solo los brokers que contienen los datos solicitados.

“Cuando se realiza una consulta en un servidor SynSQL, se crea dinámicamente un árbol de procesos de Linux que consulta solo los brokers que contienen los datos solicitados”

El servicio también cuenta con un sistema de control de memoria que evita problemas de memoria insuficiente. Cada nodo en el árbol de procesos lee y envía datos utilizando un búfer limitado de 64K. Las filas grandes se ensamblan parte por parte para evitar problemas de memoria. SynSQL también ofrece alta disponibilidad y resistencia, ya que un clúster puede presentar hasta 32 servidores SynSQL que comparten un estado global mínimo. Si un nodo falla, el cliente resistente se reconecta automáticamente a otro nodo activo.

SynSQL ofrece demos en vivo para probar su funcionalidad, incluyendo una tabla ancha con 585.010 columnas y 10.000 filas, y una tabla profunda con una unión en tiempo real de conjuntos de datos astronómicos. Los interesados en probar el servicio en sus propias instalaciones pueden ponerse en contacto con el equipo de SynSQL. El servicio está diseñado para manejar "tablas imposibles" y ofrece una solución escalable y resistente para el análisis de datos.