Bit de información

Definición

---

Dado un mensaje, cuanta información útil estoy dando. La cantidad de bit’s necesarios para ser eficiente, cumple esta formula

Donde es la probabilidad de que ocurra lo que estamos mandando.

La lógica es que cuando un evento es muy probable que ocurra, queremos optimizar la cantidad de bits que mandemos, mientras que para los eventos muy improbables mandaremos más bits ya que estamos mandando más información.

Por ejemplo, digamos que tenemos una moneda cargada, dando una probabilidad de de caer en cara. Por lo tanto como es más común no nos conviene mandar muchos bits, por eso , mientras que para ceca como tiene de probabilidad se tiene que enviar con mayor información .