The signal and the noise
o por qué tantas predicciones fallan pero otras no (1)

Casi seguro que cada generación de seres humanos ha considerado que la época que les ha tocado vivir es singular e incomparable y que, además, los cambios registrados en ese periodo explican la dinámica de la historia o la dirección del progreso humano. En muchos casos es posible que así sea. Y entre esos casos y sin ninguna duda, los tiempos actuales pueden calificarse entre los más asombrosos.

Hay una serie de evidencias objetivas que así lo corroboran: el número de seres humanos sobre el planeta (más de 7.000 millones), la existencia de infraestructuras a escala nunca vista, el volumen de la producción y el comercio mundiales, los avances científicos y tecnológicos, la velocidad a la que todos estos cambios suceden… También hay otros indicios menos amables, como los niveles de contaminación y cambios en el clima, sin parangón en la historia humana, las amenazas a la propia existencia del ser humano o a la vida en el planeta y el temor a una tecnología que siempre parece estar un paso por delante de su adecuado control.

Una de las características definitorias del mundo en que vivimos es la información, cuya abundancia es literalmente incalculable (2). Hay tres causas principales que lo explican. Al propio número creciente de habitantes, que actúa de base y multiplicador del fenómeno informativo, se une la complejidad y la sofisticación de la forma en que funciona la sociedad moderna, que requiere de una creciente cantidad y calidad de información y sobre todo, como un Leviatán emergiendo del océano, la existencia de una tecnología que permite amplificar la creación y la distribución de información a una escala inconcebible. En poco más de medio siglo hemos pasado de trabajar con bits y tarjetas perforadas de papel a trabajar con memorias de estado sólido (SSD) de alta densidad y a manejar megas, gigas, teras… y exas, zettas y yottas (1.000^8).

La World Wide Web se compone según Google de más de 30 billones de páginas individuales en contínuo y creciente aumento. Se calcula que el cerebro humano puede almacenar 3 terabytes de información. Parece una cifra impresionante y sin embargo, según IBM, es solo una millonésima parte de la información que se produce -y registra- en todo el mundo cada día.

Mensajes de twitter a través de Europa, donde cada color representa un idioma. Mapa de Eric Fischer.

Esta abrumadora cantidad de información ocasiona un fenómeno de confusión -el ruido– que paradójicamente dificulta en igual o mayor medida el conocimiento de la verdad -la señal– que la ausencia de información propia de los tiempos antiguos, cuando no existían sistemas de información electrónica. Como el arca perdida de Indiana Jones, guardada en una caja sin marcas y almacenada en un inmenso almacén de cajas iguales, tantas que nadie puede encontrarla, la información relevante se encuentra oculta o camuflada en un aluvión de datos, casi inmanejables, cuyos estímulos nos aturden y desvían contínuamente nuestra atención y parasitan nuestro tiempo.

Obtener la información realmente valiosa y eficaz -en el caso de lograrse- cuesta un esfuerzo cada vez mayor. Porque así como el volumen de datos crece exponencialmente, nuestras habilidades perceptivas no pueden dar mucho más de sí y, sobre todo, el tiempo disponible no puede prolongarse más allá de 24 horas al día. El problema crece en dimensión y en complejidad y afecta no sólo a la capacidad de descubrir donde están los datos necesarios, sino que además hace imposible el poder llegar a conocer lo que de verdad es relevante.(3)

Este fenómeno de la dificultad de manejar tal volumen de datos o discernir la información de verdadero interés se une al hecho de que, en el mundo actual, es más importante que nunca antes en la historia el disponer de la información más exacta y acertada, entre otras cosas, porque las decisiones de los managers, CEO y policy makers disponen de mucho más poder efectivo sobre la realidad del mundo y sus consecuencias afectan a colectivos muy numerosos o incluso a todo el género humano. La prospectiva, la capacidad de prever, es un requisito para solucionar los graves problemas del mundo moderno, un mundo donde los decisores -paradójicamente- se encuentran ante dilemas más frecuentes y más difíciles que en el pasado.

Ante este complicado y confuso escenario, el libro de Nate Silver,»La señal y el ruido» (The signal and the noise) viene a intentar sentar las bases de la correcta metodología predictiva. La tentación es resumir ese intento con dos sólidas ideas y una buena materia prima: una, el sentido común y dos, las adecuadas técnicas estadísticas, en concreto el análisis bayesiano. La materia prima la constituyen los datos, miles, millones de datos. Como declara el título del libro, algunos modelos de predicción funcionan, otros no, por tanto la clave -mucho más fácil de decir que de llevar a cabo- es determinar qué hay en los modelos que aciertan que los hace exitosos y qué hay en los que fallan que explican su debilidad.

Nate Silver es un personaje singular que parece haber emergido del mundo del comic, como un telépata mutante de los X-men. Economista, matemático, estadístico, divulgador, los medios norteamericanos no dudaron en lanzarle al estrellato con los atributos de gurú, adivino o mago.  Su blog en el New York Times, fivethirtyeight, es uno de los más visitados del medio y desde luego uno de los más reverenciados: se dice que el 20% del tráfico que fluye hacia el NYT va a visitar el blog de Silver, lo cual es realmente increíble, porque quien lo escribe no es periodista ni escritor, sino estadístico. Y es que Nate Silver ha hecho de las técnicas prospectivas un asunto serio, no solo por lo que dice y la base científica que le respalda, sino por haberle dado un valor práctico y real a su enfoque matemático. Obras son amores: acertó la elección (y reelección) de Obama y los resultados en los 50 estados en 2012. También clavó los resultados en los puestos al senado, acertando 31 de los 33 elegidos (94%).

La sorprendente fama de Silver -especialmente sorprendente para un estadístico que es famoso por eso mismo- arranca en 2003, cuando desarrolló un sistema de predicción para el baseball conocido como PECOTA que permite obtener resultados futuros, basados en distribución de probabilidad en base a desempeños anteriores. Este trabajo le aportó la base de popularidad en Estados Unidos que luego le llevaría al estrellato cuando desarrolló y aplicó otros algoritmos a los resultados electorales. A raíz de sus aciertos en las elecciones de 2008, la revista TIME lo incluyó en 2009 como uno de los 100 hombres más influyentes del mundo. La International Academy of Digital Arts and Sicences (IADAS) premió su blog fivethirtyeight (4) como el mejor blog político de 2012. El libro The signal and the noise, publicado en septiembre de 2012, ha sido el número 2 de los bestsellers y para Amazon figura como el mejor libro de no ficción de 2012.

Los adivinos siempre han fascinado a los seres humanos porque la posibilidad de conocer el futuro y anticiparse a los acontecimientos es un anhelo innato de las personas y se ha considerado siempre como una ventaja en la lucha por la vida. La curiosidad es una de las características más evidentes de la inteligencia, así lo identificamos en los animales y en las personas y esa capacidad de anticipación ha resultado clave en los éxitos de la especie y en los individuos. Esa ventaja, sentida por los poderosos, creó la figura del adivino y más adelante la de los asesores, cuya misión principal era -y es- recoger información y elaborar planes concretos de acuerdo a previsiones lo más acertadas posibles.

Desde la época de Merlín, la adivinación se ha convertido en prospectiva y la lectura de entrañas o posos de té ha dejado paso a la estadística y a las técnicas matemáticas. Ha ayudado también la mejora en la toma de datos y la consideración general del método científico que finalmente encontró en los sistemas de tratamiento masivo de la información su impulso definitivo. Son los tiempos del Big Data y los Supercomputers.

Sin embargo, y el propio Silver lo destaca en su libro, el enfoque general de los políticos y de los dirigentes del mundo y por extensión de las cúpulas políticas, empresariales, financieras y todos aquellos centros de poder y decisión no ha cambiado mucho en relación a un mundo ideal -pero real al mismo tiempo- en el que parecen necesitar siempre del consejo contínuo de Gandalf y todo el equipo de grandes magos. Aceptamos con total naturalidad que las previsiones meteorológicas sean cada vez más acertadas y exactas pero paradójicamente, observamos las actividades humanas como totalmente imprevisibles y enfocamos los efectos negativos de dichas actividades con total estoicismo y resignación.

Fuente: Blog de Economistas Contra la Crisis

La mayoria de la gente admitimos -y desde luego lo hace el establishment– que las burbujas financieras o las crisis económicas campen a sus anchas sin exigir responsabilidades no sólo a quienes las provocaron sino también a aquellos que, disponiendo de técnicas y medios, no supieron o no quisieron anticiparlas, lo que induce la sospecha de que en el ámbito humano las cosas suceden por dejadez o por malicia.

Si consideramos lo primero, deberíamos ser conscientes de lo que supone esa incompetencia criminal por parte de los que pudiendo prever las cosas y anticipar las consecuencias no lo hacen, tanto si es por indolencia como si es por incapacidad. Pero si sospechamos de lo segundo, si damos campo a pensar que las crisis y los desastres en el ámbito de la antroposfera suceden de manera planificada o deliberada, corremos el riesgo de caer en la conspiranoia o en la rebeldía más justificada. Nunca hay que olvidar que en política y específicamente en política económica, el infortunio no delictivo es con toda seguridad solo mala previsión.

Pese a su abierto alineamiento en el bando demócrata, Nate Silver no suele opinar de cuestiones políticas ni se enfrasca en debates «cualitativos». Lo suyo son los números y el enfoque estadístico. Su último trabajo en las elecciones de otoño de 2012 le sirvió para poner a prueba el sistema que ya había establecido en los años de sus predicciones deportivas y antes con el poker online. Y eso supone volver a los datos, a las fuentes de los mismos. Discernir aquello relevante, ponderar los datos por su poder de inferencia, calcular correlaciones y volver a calcular hasta ajustar el adecuado algoritmo que será ajustado conforme vayan obteniéndose nuevos datos.

Silver no ha descubierto en realidad nada nuevo, simplemente hace un uso correcto -e intenso- de la teoría bayesiana, una rama de la estadística que se basa en diseñar fórmulas, algoritmos, para calcular probabilidades condicionadas. La teoria bayesiana fue expuesta -y de ahí su nombre- por el matemático inglés Thomas Bayes (1702-1761) quien se interesó por la probabilidad de un suceso condicionado por la ocurrencia de otro suceso.

Thomas Bayes

Este enfoque, conocido como probabilidad inversa o determinación de la probabilidad de las causas a través de los efectos observados es el opuesto al enfoque conocido como probabilidad directa que es el tradicional de la estadística y del cálculo de probabilidades clásico.

La inferencia bayesiana, pese a su alto contenido subjetivo -requiere de una expectativa de resultado previo o probabilidad subjetiva- ha resultado más práctica y efectiva que la estadística convencional que solo refleja ocurrencia de hechos con escasa capacidad de predicción. No en vano, la inferencia bayesiana recoge el método de verificación científico basado en recoger o descartar las evidencias acordes o desacordes con las hipótesis planteadas y a su vez es la visión de la estadística que más se adapta y sirve a la investigación científica, por esas mismas causas.

¿Qué puede predecirse entonces?

The signal and the noise expone la teoría y luego desarrolla una serie de casos ejemplo que la ilustran. Desde resultados deportivos a evolución de enfermedades, probabilidades de atentados terroristas, evolución de variables financieras y económicas, terremotos, huracanes y otros fenómenos naturales, movimientos de la demanda, dinámicas de población, accidentes de tráfico… y en general cualquier ocurrencia de fenómenos sobre los que hayan datos y puedan lanzarse hipótesis a cotejar.

El teorema de Bayes

Ha de quedar muy claro, si no ha quedado aún, que Nate Silver no hace magia ni ve el futuro. Y si es un hombre tocado por la fortuna, hay que reconocer que es una fortuna trabajada y fundamentada. La inferencia bayesiana se basa en hipótesis con un probabilidad cuyo porcentaje va mejorando según contamos con más datos y cotejamos esos datos con las previsiones anteriores. Se trata de pensar en términos probabilísticos, como plantea de algún modo la teoría cuántica de la física.

Es un método de prueba y error, que cuantifica probabilidades como método de atisbar el futuro. Porque el futuro no se ve en las cartas ni en el vuelo de los pájaros, sino en gráficos y resultados matemáticos. El método no proporciona un resultado óptimo automático, se trata de ir perfeccionando el algoritmo, de ir despejando poco a poco la incertidumbre y ese es el gran mensaje del trabajo de Silver: es posible reducir el ruido y amplificar la señal de modo que obtengamos resultados que nos aproximen a la verdad.

Opina el autor que los números no son perfectos y que pueden dar pistas equivocadas, pero son siempre mejor que nada (él emplea la palabra bullshit en vez de nothing,  pero se entiende igual). Como vimos al principio del artículo, predecir es más necesario que nunca y según reza el último capítulo del libro: what you don’t know can hurt you (lo que no conoces puede hacerte daño). (5)

Si es usted un profesional, un empresario o una persona interesada por lo que pasa y sobre todo por lo que va a pasar y piensa que reducir la incertidumbre acerca del futuro le proporciona una ventaja, The signal and the noise es un libro más que recomendable. Un libro que, seguramente por casualidad, tiene 538 páginas contando las páginas en blanco: el poder de los números.

_

___

(1) Comentario sobre el libro «The signal and the noise: why so many predictions fail but some don’t» , de Nate Silver. The Penguin Press. New York, 2012. A la fecha de publicación de este artículo el libro no está todavía traducido al español.

(2) Una curiosa infografía sobre la cantidad de cosas que pasan cada día en el mundo. (De siliconnews.es, recogido por Gabriel Catalano).

(3) Google ha publicado una presentación diferente sobre el volumen de datos que se manejan en internet y como funcionan sus búsquedas ordenando el caos:  http://www.google.com/insidesearch/howsearchworks/thestory/

(4) El término Fivethirtyeight, que da nombre al blog (y que también se escribe como 538 o 538.com) proviene del número de miembros del Colegio Electoral de los Estados Unidos que es quien formalmente elige al presidente. El sistema electoral estadounidense se basa en un sistema indirecto: los votantes eligen en cada estado sus representantes en el Colegio Electoral, quienes a su vez eligen al presidente.

(5) Puede ser de interés echar un vistazo al artículo sobre Prospectiva y empresa: la necesidad de prever el futuro.