El glosario

El porcentaje de aciertos totales del modelo; engañoso cuando una de las dos clases es mucho más frecuente que la otra.

El optimizador por defecto de facto en deep learning: ajusta la tasa de aprendizaje de cada peso por separado usando el historial de sus gradientes, así que converge bien sin apenas tener que tocarlo.

El algoritmo clásico de los sistemas de recomendación: descompone la matriz de valoraciones en dos matrices más pequeñas (gustos de usuario, rasgos de película) y las resuelve alternando una y otra con una regresión cerrada.

El primer paso honesto de cualquier proyecto de datos: mirar tipos, nulos, distribuciones y correlaciones antes de entrenar nada. La mitad de los problemas de un modelo se ven aquí si te paras a mirar.

Encontrar estructura en datos que no llevan ninguna etiqueta: agrupar puntos parecidos, reducir dimensiones, detectar qué es raro. Nadie le dice al modelo qué buscar.

La rama del machine learning donde un agente aprende a base de intentarlo: actúa, recibe una recompensa (o un castigo), y ajusta su comportamiento para conseguir más de la primera y menos del segundo.

Entrenar con ejemplos que ya llevan la respuesta correcta pegada, para que el modelo aprenda a predecirla en casos nuevos; la mayoría de lo que se usa en producción hoy es esto.

Un modelo que aprende a base de preguntas de sí o no sobre los datos, cada una eligiendo el corte que mejor separa las clases; fácil de leer, pero con suficiente profundidad memoriza en vez de generalizar.

El truco que permite a un modelo decidir, para cada palabra, a qué otras palabras del texto prestarle más caso.

En vez de calcular una sola atención, el transformer calcula varias en paralelo, cada una libre de aprender a fijarse en un tipo distinto de relación entre palabras; al final se combinan todas.

Fabricar variantes de los ejemplos que ya tienes — rotar una imagen, añadir ruido, cambiar el tono de una frase — para que el modelo vea más variedad sin necesitar datos nuevos de verdad.

Una red que aprende a comprimir cada ejemplo a un puñado de números (el espacio latente) y luego reconstruirlo desde ahí; si la reconstrucción sale bien, es que esos pocos números capturaban lo importante.

El algoritmo que reparte la culpa del error entre todos los pesos de una red, capa por capa hacia atrás, usando la regla de la cadena; es lo que hace posible entrenar redes con millones de parámetros.

El modelo más simple posible (a veces solo adivinar la clase más común), que sirve de referencia mínima para saber si algo más complejo merece la pena.

Una forma de generar texto que, en vez de quedarse solo con la palabra más probable en cada paso, mantiene varias frases candidatas a la vez y descarta las peores; produce texto algo mejor que la estrategia voraz a cambio de más cálculo.

El algoritmo de ranking clásico de la recuperación de información: puntúa cada documento combinando cuán rara es cada palabra de la búsqueda, cuántas veces aparece (con saturación) y cuán largo es el documento. Sigue siendo difícil de superar para búsqueda por palabras.

Remuestrear los datos que ya tienes, con reemplazo, para simular qué pasaría con otra muestra distinta de la misma población; así se estima la incertidumbre de un número sin necesitar más datos.

El algoritmo que casi todos los modelos de lenguaje usan para trocear texto: fusiona repetidamente el par de símbolos más frecuente hasta llegar al tamaño de vocabulario que le pidas. Así las palabras raras se parten en trozos y las comunes quedan enteras.

Ajustar el modelo para que cuando diga '80% de probabilidad', eso ocurra de verdad en torno al 80% de las veces.

Dejar fijos los pesos de parte de un modelo preentrenado durante el fine-tuning, y entrenar solo el resto; es lo que hace posible el transfer learning con muy pocos ejemplos.

Un número entre -1 y 1 que mide cuánto se mueven dos variables juntas; útil para encontrar redundancias entre columnas, pero por sí sola nunca demuestra que una cause la otra.

Dos variables pueden moverse juntas sin que una influya en la otra: puede haber una tercera causa común, o pura coincidencia. Confundir esto es una de las formas más fáciles de sacar conclusiones equivocadas de un análisis correcto.

Redondear los pesos de un modelo ya entrenado a menos bits — de float32 a int8, incluso a int4 — para que ocupe y calcule menos; de fp32 a int8 la pérdida de precisión suele ser casi invisible.

Cómo cambia el error de entrenamiento y de validación a medida que crece la cantidad de datos o de pasos de entrenamiento; leerla bien dice si conviene conseguir más datos, más capacidad, o parar.

Cuando una clase aparece muchísimas más veces que otra en los datos, como el fraude frente a las transacciones normales; ahí accuracy miente, y hay que mirar recall, precisión o PR-AUC.

El método que usa casi todo el machine learning para aprender: calcula en qué dirección empeora menos el error y da un paso pequeño hacia el lado contrario, una y otra vez.

Entrenar un modelo pequeño (el alumno) para imitar las salidas de uno grande ya entrenado (el profesor), en vez de aprender directamente de las etiquetas originales; suele quedar más preciso que entrenar ese mismo modelo pequeño desde cero.

Cuánto se alejan en promedio los datos de su media, en las mismas unidades que los datos originales; es la raíz cuadrada de la varianza, y por eso se lee más fácil que ella.

La curva de campana que aparece por todas partes en estadística, gracias a que sumar muchas cosas pequeñas e independientes tiende a producirla; media y desviación estándar la describen por completo.

El fenómeno, descrito hacia 2019, donde el error de test de un modelo baja, sube justo cuando sus parámetros igualan al número de datos, y luego vuelve a bajar más allá de ese punto; rompió la intuición clásica de que más parámetros siempre es peor.

Cuando los datos nuevos dejan de parecerse a los que vio el modelo al entrenar; el modelo sigue opinando, pero cada vez acierta menos.

Durante el entrenamiento, apaga al azar una fracción de neuronas en cada paso, para que la red no dependa demasiado de ninguna en concreto. Es una de las formas más baratas de pelear el sobreajuste.

Convertir palabras, frases o imágenes en listas de números para que las cosas parecidas queden cerca en ese espacio numérico.

Una pasada completa por todos los datos de entrenamiento; un modelo suele necesitar decenas o cientos de épocas antes de dejar de mejorar.

El espacio numérico reducido donde un modelo generativo guarda su representación comprimida de los datos; moverse por él suavemente suele producir ejemplos intermedios que no existen en ningún dataset.

Convertir una señal cruda (audio, texto, una imagen) en números que un modelo pueda usar; por ejemplo, pasar audio por una FFT y quedarte con la energía en varias bandas de frecuencia en vez del sonido entero.

Un promedio de precisión y recall en un solo número, útil cuando te interesan los dos a la vez y no quieres elegir uno.

Un almacén central donde se calculan y versionan las variables que alimentan a los modelos, para que entrenamiento y producción usen exactamente la misma definición de cada una. Sin él, es fácil que ambos mundos se desincronicen sin que nadie lo note.

Seguir entrenando un modelo ya hecho con tus propios datos, para especializarlo en una tarea concreta sin partir de cero.

Cuando información del futuro o del propio resultado se cuela sin querer en el entrenamiento; el modelo parece brillante y luego falla en producción.

El número que un modelo intenta minimizar durante el entrenamiento; mide cuánto se equivoca en los ejemplos que ve, y su forma exacta (error cuadrático, entropía cruzada...) cambia qué tipo de errores penaliza más.

Dos redes compitiendo: un generador que intenta fabricar ejemplos falsos creíbles, y un discriminador que intenta pillarlo. Entrenadas juntas, el generador acaba produciendo cosas sorprendentemente convincentes.

En redes muy profundas, el gradiente que viaja hacia atrás por backpropagation puede volverse casi cero (y las primeras capas dejan de aprender) o crecer sin control (y los pesos se disparan). Layernorm y las conexiones residuales existen en buena parte para evitarlo.

Cualquier ajuste del modelo o del entrenamiento que se decide antes de empezar y no se aprende de los datos: la tasa de aprendizaje, el número de capas, la profundidad de un árbol.

Un rango que probablemente contiene el valor real, en vez de un único número que finge certeza; se ensancha cuando hay pocos datos y se estrecha cuando hay muchos.

El algoritmo de clustering más famoso: asigna cada punto a su centroide más cercano, recoloca los centroides al centro de sus puntos, y repite hasta que nada se mueve. Hay que decirle cuántos grupos buscar de antemano.

Cuánto tarda un modelo en responder una vez entrenado; a veces importa más que la precisión, porque un modelo perfecto que tarda tres segundos puede no servir para una aplicación en tiempo real.

Reescala las activaciones dentro de cada capa para que tengan media cero y varianza uno, ejemplo a ejemplo; estabiliza el entrenamiento de redes profundas, y los transformers la llevan en casi todos los rincones.

Un modelo de lenguaje entrenado con cantidades enormes de texto y muchísimos parámetros; predice la siguiente palabra tan bien que, a esa escala, empieza a parecer que razona.

Una tabla que cruza lo que el modelo predijo con lo que era verdad, celda a celda; de ahí salen directamente precisión, recall y todas las métricas de clasificación, y es la forma más honesta de ver dónde se equivoca.

La parte de un proyecto de machine learning que no es el modelo: versionar datos y código, desplegarlo, y vigilar que siga funcionando bien con el tiempo.

Modelos que aprenden a deshacer ruido: se entrenan destruyendo imágenes poco a poco hasta dejarlas en pura estática, y luego aprenden el proceso inverso. Generar es aplicar ese proceso inverso partiendo de ruido puro.

En vez de elegir siempre la palabra más probable, se sortea entre las candidatas según sus probabilidades; la temperatura decide cuánto: baja, casi siempre gana la más probable; alta, el texto se vuelve errático.

Poner todas las variables de entrada en rangos parecidos antes de entrenar; sin esto, una variable medida en millones domina a otra medida en unidades, y algunos modelos aprenden mal o más despacio por ello.

Vigilar en producción no solo si el servicio responde, sino si las predicciones del modelo siguen teniendo sentido: distribución de entradas, distribución de salidas, métricas cuando hay etiquetas disponibles.

Convertir una categoría (rojo, verde, azul) en un vector de ceros con un único uno en la posición de esa categoría; evita que el modelo invente un orden entre categorías que en realidad no lo tienen.

Cuando un modelo memoriza los datos de entrenamiento en vez de aprender el patrón general, y por eso rinde peor con datos que no ha visto.

La probabilidad de ver un resultado tan extremo como el tuyo si en realidad no hubiera ningún efecto; un p-valor bajo sugiere que lo que ves no es puro azar, pero no dice nada sobre lo grande o importante que sea.

La neurona artificial más antigua, de 1958: pesos, una suma y un umbral. Converge si las clases se pueden separar con una recta; si no (como con XOR), la recta baila para siempre y nunca se estabiliza.

Una medida de lo 'sorprendido' que queda un modelo de lenguaje ante un texto; cuanto más baja, mejor predice lo que viene a continuación.

La cadena de pasos automatizados que lleva los datos desde su origen hasta la predicción final, sin intervención manual en medio.

Apagar los pesos más pequeños de un modelo ya entrenado, ordenándolos por magnitud, porque casi siempre sobran: las redes entrenadas son tremendamente redundantes, y se puede podar buena parte antes de que la precisión se resienta.

En vez de aprender el valor de cada acción, este enfoque de aprendizaje por refuerzo ajusta directamente la política — la regla que decide qué hacer — empujándola hacia las acciones que acabaron dando mejor resultado.

Como el ROC-AUC pero centrado en acertar los casos positivos raros; más útil cuando lo que buscas es minoritario, como el fraude.

De todo lo que el modelo marcó como positivo, cuánto era realmente positivo; alta precisión significa pocas falsas alarmas.

Un número que mide cuánto ha cambiado la distribución de una variable entre dos periodos; si sube mucho, algo se ha movido de verdad.

Un algoritmo de aprendizaje por refuerzo que aprende el valor esperado de cada acción en cada situación, a base de premios y castigos, sin necesitar un modelo del entorno. El castigo se aprende en una sola actualización; el premio tiene que propagarse paso a paso.

Antes de responder, el modelo busca información relevante en una base de documentos y la usa como apoyo, en vez de fiarlo todo a la memoria.

Muchos árboles de decisión, cada uno entrenado con una muestra distinta de los mismos datos, que votan juntos; un árbol solo es inestable, pero el promedio de cincuenta suele ser sorprendentemente sólido.

De todos los casos positivos que existían de verdad, cuántos detectó el modelo; alto recall significa que se le escapan pocos.

Una red que aprende filtros pequeños que se deslizan sobre una imagen buscando patrones locales — bordes, texturas — y los combina en capas hasta reconocer formas más complejas. Fue la arquitectura dominante en visión antes de los transformers.

Muchas neuronas artificiales conectadas en capas, cada una una suma ponderada seguida de una no linealidad; apiladas y entrenadas con datos, aproximan funciones que serían imposibles de programar a mano.

Una red que procesa secuencias paso a paso, arrastrando un resumen (el estado oculto) que se actualiza en cada elemento; los transformers la desplazaron casi por completo porque ese resumen se difumina en secuencias largas.

Volver a entrenar un modelo con datos más recientes cuando su rendimiento empieza a caer; puede ser periódico, o disparado automáticamente cuando el drift supera un umbral.

El sitio donde quedan versionados los modelos entrenados junto con sus métricas, sus datos de origen y qué versión está sirviendo en producción ahora mismo; sin esto, saber qué modelo generó una predicción concreta es un acto de fe.

El modelo más simple para predecir un número: una suma ponderada de las variables de entrada más una constante. Sirve de referencia honesta antes de sacar artillería más pesada.

Como la regresión lineal pero para clasificar: pasa la suma ponderada por una función que la aplasta entre 0 y 1, y ese número se lee como una probabilidad. Sencilla, rápida y sorprendentemente difícil de batir en muchos problemas.

Cualquier técnica que penaliza la complejidad de un modelo a propósito, para que no memorice los datos de entrenamiento; L1 y L2 lo hacen sumando el tamaño de los pesos al error que se minimiza.

La función de activación más usada en redes modernas: deja pasar tal cual los números positivos y convierte en cero los negativos. Es absurdamente simple y funciona mejor que alternativas más elaboradas.

Dividir los datos en tres trozos que nunca se mezclan: uno para entrenar, uno para ajustar decisiones sobre la marcha (validación) y uno que se toca una sola vez, al final, para medir de verdad.

Que otra persona (o tú mismo, dentro de seis meses) pueda repetir un experimento y obtener el mismo resultado; exige fijar semillas aleatorias, versionar datos y código, y anotar el entorno exacto.

Una nota de 0 a 1 de lo bien que el modelo distingue entre dos clases, promediada sobre todos los umbrales posibles; 0,5 es adivinar, 1 es perfecto.

En el compromiso sesgo-varianza, la parte del error que viene de que el modelo es demasiado simple para el problema; más sesgo significa menos sobreajuste pero también menos capacidad de captar el patrón real.

Cuando los datos que recogiste no representan a la población real porque la propia forma de recogerlos ya descartó a una parte de ella; un modelo entrenado así generaliza mal aunque todas sus métricas internas se vean perfectas.

Que un resultado sea poco probable si fuera puro ruido, según un umbral que decides de antemano; significativo no es sinónimo de importante, y con datos suficientes hasta una diferencia minúscula puede serlo.

Mide cuánto apuntan en la misma dirección dos vectores, ignorando su tamaño; es la forma estándar de comparar dos embeddings, y va de -1 (opuestos) a 1 (idénticos en dirección).

Dos formas de pelear el desbalanceo de clases antes de entrenar: sobremuestreo repite (o sintetiza) ejemplos de la clase rara, submuestreo recorta ejemplos de la clase común. Ninguna de las dos crea información nueva de la nada.

Convierte una lista de números cualquiera en probabilidades que suman uno, exagerando las diferencias: el número más alto se lleva casi todo el peso. Es la capa final típica de un clasificador con varias clases.

El error opuesto al sobreajuste: el modelo es demasiado simple para captar el patrón real, y por eso falla tanto en entrenamiento como en datos nuevos. La solución casi nunca es más datos; es más capacidad.

Busca la frontera que separa dos clases dejando el mayor margen posible a ambos lados; con el truco del kernel puede curvar esa frontera sin calcular explícitamente en más dimensiones.

Cuántos ejemplos ve un modelo antes de actualizar sus pesos de una vez; lotes grandes dan gradientes más estables pero más lentos de calcular por paso, lotes pequeños son más ruidosos pero a veces generalizan mejor.

Cuánto se mueve el modelo en cada paso de entrenamiento; demasiado grande y salta de un lado a otro sin converger, demasiado pequeña y tarda una eternidad en aprender nada.

Los trozos en los que un modelo de lenguaje corta el texto para procesarlo; no siempre son palabras completas, y de ellos depende lo que cuesta usar el modelo.

Partir de un modelo ya entrenado en una tarea grande y reutilizar lo que aprendió para una tarea nueva y más pequeña, en vez de empezar de cero; con quince ejemplos y un modelo congelado por debajo, se resuelven la mayoría de problemas reales de visión.

La arquitectura detrás de la mayoría de modelos de lenguaje actuales; procesa el texto entero a la vez en lugar de palabra por palabra.

Un atajo matemático que permite a un modelo actuar como si los datos vivieran en un espacio de muchas más dimensiones, sin calcular nunca esas dimensiones explícitamente; ahí es donde un SVM encuentra fronteras que en el espacio original serían imposibles.

El punto de corte que convierte una probabilidad en un sí o un no; moverlo cambia cuántos falsos positivos y falsos negativos aceptas.

Elegir el punto de corte de un modelo no por maximizar accuracy, sino por minimizar el coste real: un falso negativo en detección de fraude no cuesta lo mismo que un falso positivo, y el umbral debería reflejarlo.

Entrenar y evaluar el modelo varias veces sobre distintos trozos de los datos, para no fiarte de un único reparto con suerte.

Un punto que se sale tanto del resto que merece explicación: puede ser un error de captura de datos o puede ser información real y valiosa. Un histograma o un diagrama de caja suele delatarlo al momento.

El promedio de las distancias al cuadrado entre cada dato y la media; mide dispersión, y en machine learning también nombra cuánto cambian las predicciones de un modelo si lo reentrenas con datos ligeramente distintos.

Cuánto texto puede ver un modelo de lenguaje a la vez antes de tener que olvidar lo anterior; todo lo que quede fuera de esa ventana, sencillamente no existe para él en ese momento.

Guardar un historial de qué versión exacta de los datos entrenó cada modelo, igual que se versiona el código; sin esto, reproducir un resultado de hace seis meses puede ser imposible.

La parte del machine learning que trabaja con imágenes y vídeo: reconocer objetos, detectar caras, seguir movimiento. Casi todo pasa hoy por redes entrenadas con millones de imágenes etiquetadas.

Un modelo de 2013 que aprende embeddings de palabras a partir de cuáles aparecen juntas, sin que nadie le diga qué significa nada; el resultado clásico es que rey - hombre + mujer cae cerca de reina.