Notas sobre machine learning
Apuntes técnicos escritos mientras aprendo: evaluación honesta, fugas de datos, despliegue, aplicaciones con LLMs y los errores que hay detrás de cada lección. Salen de los proyectos de esta web, con el código a un clic.
Papers en cristiano: LoRA
El paper de 2021 que hizo barata la adaptación de modelos gigantes cabe en una idea: en vez de tocar todos los pesos, aprender solo un atajo de bajo rango y sumarlo. Segunda entrega de la serie, con un experimento real: un GPT diminuto entrenado en Shakespeare y adaptado al Quijote de cinco formas distintas para medir cuánto cuesta cada una y cuánto olvida.
Leer artículo
Comparé mi tokenizador BPE con tiktoken y BERT: los números no fueron amables
Reentrené el BPE de transformer-from-scratch a un vocabulario de 8.000 y lo enfrenté a cl100k_base, o200k_base, GPT-2 y BERT multilingüe sobre los mismos corpus de inglés, español y código. La brecha en español fue peor de lo que esperaba, y el motivo real no fue el que había supuesto.
Leer artículoPapers en cristiano: Attention is all you need
El paper de 2017 que está debajo de todos los chatbots actuales cabe en una idea: dejar que cada palabra decida a qué otras palabras mirar. Primera entrega de una serie donde leo papers clásicos y los cuento como me habría gustado que me los contaran.
Leer artículo
¿Cuándo vale la pena usar un LLM y cuándo no?
Los LLMs resuelven ciertos problemas mejor que cualquier otro enfoque. Otros los resuelven peor que un clasificador de tres líneas. La pregunta que hay que hacerse antes de abrir la API de OpenAI.
Leer artículo