Papers en cristiano: Attention is all you need
El paper de 2017 que está debajo de todos los chatbots actuales cabe en una idea: dejar que cada palabra decida a qué otras palabras mirar. Primera entrega de una serie donde leo papers clásicos y los cuento como me habría gustado que me los contaran.
Hay un paper de 2017, con un título chulesco — Attention is all you need —, que está debajo de prácticamente todo lo que hoy llamamos inteligencia artificial generativa. Lo he leído despacio, he implementado su pieza central desde cero, y esta es la explicación que me habría gustado encontrar el primer día.
El problema que había antes. Para procesar una frase, los modelos de entonces la leían palabra a palabra, en orden, arrastrando un resumen que se iba actualizando. Como cuando intentas recordar una lista de la compra que te dictan: para cuando llegan al final, el principio se ha difuminado. Frases largas, dependencias lejanas — "la chica que vimos ayer en la estación era mi prima" — se perdían por el camino. Y encima, leer en orden no se puede repartir entre varios procesadores: era lento de entrenar.
La idea del paper. ¿Y si en vez de leer en orden, cada palabra pudiera mirar directamente a todas las demás y decidir cuáles le importan? Eso es la atención. Para la palabra "era", el mecanismo calcula una puntuación con cada otra palabra de la frase — ¿cuánto me aporta "chica"? ¿cuánto "estación"? — y construye su representación mezclando las que más puntúan. Sin resumen arrastrado, sin distancias: la palabra 1 y la palabra 500 están igual de cerca.
Preguntas, etiquetas y contenidos. El truco interno tiene tres piezas con nombres raros (query, key, value) pero lógica de biblioteca: cada palabra emite una pregunta (query), lleva puesta una etiqueta (key) y guarda un contenido (value). La puntuación entre dos palabras es cuánto encaja la pregunta de una con la etiqueta de la otra, y lo que se mezcla son los contenidos. Todo son multiplicaciones de matrices, que es justo lo que las tarjetas gráficas hacen rapidísimo y en paralelo. Ahí está la segunda mitad del invento: no solo funciona mejor, se entrena muchísimo más rápido.
Varias cabezas mirando a la vez. Una sola atención tiende a fijarse en un solo tipo de relación. El paper usa varias en paralelo — cabezas — y cada una aprende sola a mirar cosas distintas: una acaba siguiendo la sintaxis, otra las palabras vecinas, otra relaciones más raras. Nadie les asigna el papel: emerge del entrenamiento. En mi demo de atención se pueden ver las cabezas reales de mi transformer pequeño haciendo exactamente esto.
Lo que me llevo. Primero, que la arquitectura ganadora no añadió complejidad: la quitó (fuera recurrencia, fuera convoluciones, solo atención). Segundo, que el paper casi no habla de generar texto — era un sistema de traducción; el uso que lo hizo famoso vino después, de otros. Y tercero, que leerlo es mucho menos duro de lo que parece desde fuera: son once páginas, y la mitad son tablas. Si esta serie sirve para que alguien más pierda el miedo a los papers, ya ha valido la pena.
