Definición
Dado un mensaje, cuanta información útil estoy dando. La cantidad de bit’s necesarios para ser eficiente, cumple esta formula
Donde
La lógica es que cuando un evento es muy probable que ocurra, queremos optimizar la cantidad de bits que mandemos, mientras que para los eventos muy improbables mandaremos más bits ya que estamos mandando más información.
Por ejemplo, digamos que tenemos una moneda cargada, dando una probabilidad de