Entropía cruzada

Definición

---

Se define como cual es la entropía de mi mensaje diseñado con una Función de probabilidad pero se envian con una Función de probabilidad . Dandonos lo siguiente

También se puede plantear como

Donde es la Entropía de shannon para y es la Divergencia de Kullback-Leibler