Casi todo el capítulo es conceptual: responde en qué casos vale la pena aprender de los datos en lugar de escribir las reglas a mano, y enumera las formas en que ese intento fracasa. Pero trae un dataset —27 países— y con él enseña lo más concreto que se puede mostrar sin montar un proyecto.
La versión divulgativa es de Arthur Samuel: dar a las computadoras la capacidad de aprender sin ser programadas explícitamente. La de Tom Mitchell es la que sirve para trabajar, porque obliga a nombrar tres cosas antes de empezar.
Marcar correos como spam.
Correos ya etiquetados.
La proporción de aciertos.
Un sistema aprende si su desempeño en la tarea mejora con la experiencia. Lo útil de esta definición es que obliga a decidir P antes de empezar — y elegir mal esa medida es de las formas más comunes de construir algo inútil sin enterarse.
Acabas con una lista larga de reglas enredadas que nadie se atreve a tocar.
El programa queda más corto, más fácil de mantener y probablemente más certero.
La diferencia de fondo aparece cuando el mundo cambia. Los spammers notan que sus correos con «4U» ya no llegan y empiezan a escribir «For U». Con reglas a mano, alguien tiene que darse cuenta y añadir otra — y otra cuando cambien de nuevo, para siempre. Un sistema que aprende lo nota solo.
Hay un tercer uso menos obvio: inspeccionar lo aprendido. Un filtro entrenado revela qué combinaciones predicen mejor el spam, algunas que nadie sospechaba. Eso tiene nombre propio: minería de datos.
| Reglas interminables | Problemas que a mano requieren listas largas de reglas y ajustes constantes. |
| Sin solución conocida | Problemas donde el enfoque tradicional directamente no existe. Reconocer voz, por ejemplo. |
| Entornos que cambian | Un sistema que aprende puede reentrenarse con los datos nuevos. |
| Demasiados datos | Encontrar estructura en volúmenes que ninguna persona puede revisar. |
No son excluyentes: un sistema real se ubica en los tres a la vez. Un filtro de spam típico es supervisado, por lotes y basado en modelo.
| Cuánta supervisión recibe | |
| Supervisado | Los datos traen la respuesta. Clasificación (¿spam o no?) o regresión (¿cuánto vale este coche?). |
| No supervisado | No hay respuestas. Agrupar visitantes, detectar anomalías, reducir dimensiones para poder graficar. |
| Autosupervisado | La respuesta se fabrica del propio dato: tapar parte de una imagen y pedir que la reconstruya. |
| Semisupervisado | Pocas etiquetas y muchos datos sin ellas. El álbum que agrupa caras solo y luego pide un nombre por grupo. |
| Por refuerzo | Un agente actúa, recibe premio o castigo, y ajusta su estrategia. |
| Si aprende sobre la marcha | |
| Por lotes | Se entrena una vez, se despliega, y ya no aprende más. Riesgo: el modelo se pudre — el mundo cambia y él se queda con la foto del día que se entrenó. |
| En línea | Se alimenta según llegan los datos. Evita lo anterior, pero si entran datos malos el desempeño cae en vivo. |
| Cómo generaliza | |
| Por instancia | Memoriza los ejemplos y busca los más parecidos. Carga con todos sus datos a producción. |
| Por modelo | Resume los ejemplos en parámetros. Después, los ejemplos ya no hacen falta. |
El dataset cruza el PIB per cápita de 27 países con su satisfacción declarada con la vida. Se ajustan los dos modelos y se les pide una predicción paraChipre, que no está en los datos.
Respuestas casi idénticas por caminos opuestos. La recta resume los datos y después los descarta; el k-vecinos no resume nada, se queda con todo y busca los más parecidos cuando le preguntas. En producción eso se nota: el segundo carga con sus datos a cuestas y responde más lento cuanto más ha visto.
El mismo ejemplo enseña el subajuste de propina. La recta explica el 73% de la variación, y el 27% restante no es ruido de medición: es que la felicidad de un país no es una función de su riqueza. Hay países ricos por debajo de la recta y modestos por encima, y ninguna recta puede capturarlos a la vez.
Hay que elegir un algoritmo y entrenarlo con datos. Así que lo que puede fallar esdatos malos o algoritmo malo.
| Insuficientes | A un niño le señalas una manzana dos veces y ya reconoce manzanas. Un sistema necesita miles de ejemplos, o millones para imágenes y voz. |
| No representativos | Si no se parecen a los casos sobre los que vas a predecir, el modelo aprende un mundo que no existe. Abajo, con detalle. |
| De mala calidad | Errores, atípicos y ruido. Decidir si descartar o corregir, y qué hacer con los faltantes. No es glamoroso y es la mayor parte del trabajo. |
| Variables irrelevantes | Basura entra, basura sale. La ingeniería de características son tres cosas: seleccionar las útiles, combinarlas en otras mejores, o conseguir datos nuevos. |
Hay dos motivos distintos y conviene no confundirlos. Si la muestra es pequeña aparece ruido de muestreo: datos poco representativos por casualidad. Pero incluso una muestra enorme falla si el método de recolección está torcido — eso es sesgo de muestreo, y es el peligroso.
El ejemplo del capítulo es la encuesta del Literary Digest en las elecciones estadounidenses de 1936: diez millones de cuestionarios enviados, unos 2.3 millones de respuestas. Una muestra descomunal.
Fallaron por casi veinte puntos. Las listas de contacto salían de directorios telefónicos, suscriptores de revistas y socios de clubes — gente acomodada, que se inclinaba por Landon. Y encima respondieron sobre todo quienes tenían ganas de opinar.
La moraleja llega por comparación: ese mismo año Gallup acertó con unas 50,000 encuestas, cuarenta veces menos. Un muestreo torcido no se arregla agrandando la muestra.
Sobreajustar es aprenderse los datos de entrenamiento en vez del patrón: el modelo rinde espléndido donde ya sabe la respuesta y se derrumba en cuanto ve algo nuevo. La analogía de Géron es humana — te roban el taxi en un país extranjero y concluyes que ahí todos los taxistas son ladrones.
Ocurre cuando el modelo es demasiado complejo para la cantidad y el ruido de los datos. Con muchos grados de libertad y pocos ejemplos puede llegar a «descubrir» que los países cuyo nombre contiene cierta letra son más felices.
| Simplificar | Menos parámetros, o menos variables. |
| Regularizar | Restringir la libertad del modelo. Cuánto se controla con un hiperparámetro: un ajuste del algoritmo, no del modelo, fijado antes de entrenar. |
| Más datos | Más ejemplos, o los mismos mejor limpiados. |
Subajustar es lo contrario y no engaña a nadie: el modelo es demasiado simple para la estructura que hay. Predecir el bienestar de un país solo con su riqueza queda corto porque la realidad no es una línea. Se arregla al revés — más parámetros, mejores variables, o aflojar la regularización.
La única forma de saber si un modelo generaliza es probarlo con casos que no vio. De ahí partir los datos en entrenamiento y prueba: si el error de entrenamiento es bajo pero el de prueba alto, hay sobreajuste. Ese contraste es el diagnóstico.
Pero aparece un problema justo después. Dudas entre dos modelos, los comparas en prueba y eliges. Luego ajustas la regularización probando cien valores y te quedas con el mejor en prueba. El modelo rinde estupendamente — y en producción, mucho peor.
Mediste cien veces sobre el mismo conjunto y elegiste el que mejor le quedabaa ese conjunto en concreto. El número dejó de estimar generalización y pasó a medir cuánto ajustaste a esos casos.
La salida es apartar una tercera porción, el conjunto de validación: se comparan candidatos ahí, se elige uno, se reentrena con todo lo que no es prueba, y solo entonces se mide una vez en prueba. Si esa porción es muy pequeña la comparación es ruidosa, y si es muy grande se entrena con poco — de ahí lavalidación cruzada, que parte en pliegues y promedia a costa de multiplicar el tiempo.
Un caso más sutil: si entrenas con fotos de flores descargadas de internet pero la aplicación recibirá fotos tomadas con el móvil, validación y prueba tienen que salir de las del móvil — de lo que el sistema verá de verdad.
El capítulo cierra con el teorema de «no hay almuerzo gratis»(Wolpert, 1996): sin suposiciones sobre los datos, no hay razón para preferir un modelo sobre otro. Para algunos conjuntos el mejor es una línea recta; para otros, una red neuronal. No hay forma de saberlo de antemano sin probar.
Ese es el argumento que justifica todo lo demás: el método del libro no es elegir bien el algoritmo, es montar un procedimiento que permita comparar varios sin engañarse. De eso trata el capítulo siguiente.