Se calcula como el promedio de bits que mande en cada mensaje. Por lo tanto se puede calcular esto de la siguiente forma
Donde es el evento que se quiere mandar, y por lo tanto es la probabilidad que ocurra ese Evento.
Esta entropía nos va a dar una idea de que tan impredecible es un fenómeno. Ya que se compensan la probabilidad de un evento y los bits de información de ese evento.
Veamos un ejemplo de una moneda, donde la probabilidad de cara es y la probabilidad de ceca es . Si calculamos de este problema, nos queda
Donde vemos que cuando que es el momento donde es más difícil predecir si la moneda es cara o ceca, es donde la entropía es mayor. También en los extremos donde la probabilidad de que sea cara, o en otro extremos que sea ceca, es la entropía termina siendo ya que no es necesario mandar información.
