DiScoFormer: Un transformador para arquitecturas y puntuaciones, en distribuciones

Se ha desarrollado un nuevo modelo de inteligencia artificial llamado DiScoFormer, que puede estimar la densidad y la puntuación de una distribución de datos en una sola pasada sin necesidad de reentrenamiento. Este modelo utiliza una arquitectura de transformador para mapear una muestra de datos a la densidad y la puntuación de la distribución subyacente.

El DiScoFormer utiliza capas apiladas de bloques de transformador y atención cruzada para evaluar la densidad y la puntuación en cualquier punto, no solo donde hay datos. La puntuación y la densidad comparten una relación matemática, por lo que el modelo utiliza una columna vertebral compartida con dos cabezas de salida, una para la densidad y otra para la puntuación. Esto permite al modelo adaptarse a entradas fuera de la distribución sin necesidad de etiquetas o datos de entrenamiento adicionales.

“El DiScoFormer utiliza capas apiladas de bloques de transformador y atención cruzada para evaluar la densidad y la puntuación en cualquier punto, no solo donde hay datos”

El modelo se entrenó utilizando modelos de mezcla gaussiana, que son aproximadores universales de densidad y tienen densidades y puntuaciones en forma cerrada. El DiScoFormer supera al método clásico de estimación de densidad kernel en la estimación de densidad y puntuación, especialmente en dimensiones altas. En 100 dimensiones, el modelo reduce el error de puntuación en un factor de 6,5 y el error de densidad en comparación con el mejor modelo de estimación de densidad kernel ajustado a mano.

La capacidad del DiScoFormer para estimar la densidad y la puntuación de una distribución de datos tiene implicaciones importantes en campos como la generación de imágenes y la simulación de partículas. Los modelos de difusión generativos, como Stable Diffusion y DALL-E, utilizan la puntuación para generar imágenes realistas a partir de ruido aleatorio. El DiScoFormer podría mejorar la precisión y la eficiencia de estos modelos, lo que podría tener un impacto significativo en la generación de contenido y la simulación de sistemas complejos.