Entropía e información neuronal

02/03/2019 0 comentarios
Menear

Cada una de las miles de millones de neuronas de nuestro cerebro es un elemento de comunicación y comunicación es información. Shannon publicó su artículo seminal sobre teoría matemática de la información en 1948. Cuatro años después, MacKay y McCulloch realizaron la primera aplicación de la teoría de la información a la Neurociencia. En esta entrada del blog conectamos entropía con procesamiento de la información neuronal.

 Cajal_cortex_drawings (1).png

"Comparative study of the sensory areas of the human cortex" de Santiago Ramón y Cajal, publicado en 1899. De Dominio Público via Commons, Looie496.

Pensemos en una moneda que caiga cara en un 90% de las ocasiones. Al lanzarse, esperamos que salga cara y nos sorprenderemos si sale cruz. Cuanto más improbable sea un acontecimiento más nos sorprenderemos al observarlo. Si usamos logaritmos en base 2, la medida de información de Shannon o sorpresa del resultado, es mensurable en bits. La entropía es el promedio de la medida de información de Shannon. En la práctica, no solemos estar interesados en la sorpresa que nos produzca el valor particular de una variable al azar pero sí en cuánta sorpresa, en promedio, es asociable con todo el conjunto de posibles valores. El valor promedio de sorpresa de una variable se define por su distribución de probabilidad y se llama entropía. La entropía es una medida de incertidumbre. Cuando reducimos nuestra incertidumbre ganamos información, por lo que información y entropía son dos caras de la misma moneda. La cantidad promedio de información comparte la misma definición que la entropía. Si una variable posee una alta entropía, la incertidumbre inicial sobre su valor es grande y, por definición, equivale a su entropía. Si se considera el promedio del valor de aquella variable, tenemos una cantidad de información que equivale a la incertidumbre (entropía) que teníamos sobre su valor. En consecuencia, recibir una cantidad de información equivale a tener exactamente la misma cantidad de entropía que hemos perdido.

La capacidad de codificación neuronal define un límite superior sobre la entropía y, por lo tanto, sobre la cantidad de información transmisible por una neurona. Esto quiere decir que es imposible usar una tasa de activación de las espinas dendríticas que transmita más información que la capacidad de codificación en bits. Mientras que la capacidad de codificación neuronal se refiere a la máxima entropía, la capacidad del canal de Shannon alude a la máxima información mutua que se da entre transmisor y receptor.

Usando datos recogidos de receptores auditivos en grillos, Warland encontró en 1992 que las neuronas tienen una tasa de entropía de unos 600 bits por segundo. Pero nótese que la mitad de esta entropía es ruido. Aún así, unos 300 bits por segundo sería suficiente información como para aportar 3 bits cada 10 milisegundos. Cada 10 milisegundos la salida de una neurona especificaría una entrada con una precisión de una parte en 8 (23). Según Rieke et al. (1997) si una neurona auditiva fuera sensible a velocidades del viento entre 0 y 32 centímetros por segundo, su salida especificaría una velocidad de un octavo de ese rango cada 10 milisegundos. Ya que 32 dividido por 8 es igual a 4, la salida especificaría una velocidad de, por ejemplo, entre 18 y 22 centímetros por segundo durante los 10 milisegundos anteriores.

Referencias

MacKay, D. M. y McCulloch, W. S. (1952). The limiting capacity of a neuronal link, Bull. Math. Phys. 14, 127.

Rieke, F., Warland, D., de Ruyter van Steveninck, R., y Bialek, W. (1997). Spikes: Exploring the neural code. MIT Press.

Shannon, C. E. (1948). A mathematical theory of communication. Bell System Technical Journal, 27 (3): 379–423. doi:10.1002/j.1538-7305.1948.tb01338.x.