Definición
Es una técnica por la cuál penalizamos a un modelo en función de su complejidad. Esto lo hace alterando el entrenamiento de un modelo para evitar que sus parámetros cambien de forma brusca o rápida con los datos, evitando el Overfitting
Por ejemplo, si tenemos que ajustar un polinomio, podemos usar una función de costo a los valores de los coeficientes multiplicado por un hiper-parámetro para tener control sobre este ajuste
Técnicas
- L1 (Lasso):
donde
- L2 (Ridge):
donde
- Dropout: La idea es que con alguna cierta probabilidad algunos pesos pasen a ser 0, en el modelo que se este entrenando. Esto es para que el modelo no pueda confiar completamente en la existencia de esos datos