TokenTown: una forma visual de entender cómo funcionan los LLMs

Se ha creado una herramienta visual llamada TokenTown para entender cómo funcionan los modelos de lenguaje transformadores. Esta herramienta presenta una ciudad isométrica donde cada distrito representa una etapa del modelo.

La ciudad está diseñada para simular el flujo de datos en un modelo de lenguaje transformador. Un convoy transporta un estado oculto a través de las carreteras de la ciudad, pasando por diferentes etapas como la tokenización, la codificación de posición y la atención. Cada etapa del convoy se corresponde con una parte específica del modelo de lenguaje.

“Por ejemplo, los pesos del modelo son aleatorios y no se han entrenado, lo que significa que el modelo no produce resultados precisos”

TokenTown simula varias partes del modelo de lenguaje, incluyendo la tokenización, la búsqueda de embeddings, la codificación de posición sinusoidal y la atención multi-cabeza. Sin embargo, algunos aspectos del modelo son simplificados o falsificados para mantener la simplicidad y la legibilidad. Por ejemplo, los pesos del modelo son aleatorios y no se han entrenado, lo que significa que el modelo no produce resultados precisos.

La ciudad se puede explorar de diferentes maneras, incluyendo la capacidad de pausar y reanudar el convoy, avanzar etapa por etapa y ajustar la velocidad de la simulación. La ciudad también incluye explicaciones para cada distrito, que se muestran cuando el convoy llega a cada etapa. La herramienta está diseñada para ser educativa y ayudar a los usuarios a entender cómo funcionan los modelos de lenguaje transformadores.

La idea detrás de TokenTown se inspira en proyectos como PGSimCity, que presenta un modelo de la base de datos PostgreSQL en forma de ciudad. TokenTown es una herramienta original que combina código, arte y texto para crear una experiencia de aprendizaje interactiva. Al explorar la ciudad y seguir el convoy, los usuarios pueden obtener una comprensión más profunda de cómo funcionan los modelos de lenguaje transformadores y cómo se utilizan en aplicaciones reales.