El concepto de “entropía” es equivalente al de “desorden”. Así, cuando decimos que aumentó la entropía en un sistema, significa que creció el desorden en ese sistema. Y a la inversa: si en un sistema disminuyó la entropía, significa que disminuyó su desorden. La palabra entropía procede del griego (ἐντροπία) y significa “evolución o transformación“.
El concepto básico de entropía en teoría de información tiene mucho que ver con la incertidumbre que existe en cualquier experimento o señal aleatoria. Es también la cantidad de "ruido" o "desorden" que contiene o libera un sistema. De esta forma, podremos hablar de la cantidad de información que lleva una señal.
Relación:
La relación que tiene La entropía con la información es que la entropía mide la información provista por una fuente de datos, es decir, lo que nos aporta sobre un dato o hecho concreto.
Por ejemplo, que nos digan que las calles están mojadas, sabiendo que acaba de llover, nos aporta poca información, porque es lo habitual. Pero si nos dicen que las calles están mojadas y sabemos que no ha llovido, aporta mucha información (porque no las riegan todos los días).
Nótese que en el ejemplo anterior la cantidad de información es diferente, pese a tratarse del mismo mensaje: Las calles están mojadas. En ello se basan las técnicas de compresión de datos, que permiten empaquetar la misma información en mensajes más cortos.
La medida de la entropía puede aplicarse a fuentes de información de cualquier naturaleza, y nos permite codificarla adecuadamente, indicándonos los elementos de código necesarios para transmitirla, eliminando toda redundancia. (Para indicar el resultado de una carrera de caballos basta con transmitir el código asociado al caballo ganador, no hace falta contar que es una carrera de caballos ni su desarrollo).
La entropía nos indica el límite teórico para la comprensión de datos.
No hay comentarios:
Publicar un comentario