Transparencia, claridad y Big Data

Un interesante ejemplo de los riesgos por el exceso de datos disponibles lo retrataba hace un par de semanas el blog del colegio de periodismo en su blog de la BBC.  No comparto al completo la visión, pero sí los efectos primarios (sesgo) y secundarios (toma de decisiones errónea) debido a un problema relativamente nuevo: el exceso de datos.

Lo cierto es que el Big Data me tiene el corazón dividido. Leyendo un reciente artículo de Yusef sobre Data (que no sólo me ha valido la pena leer, sino que a su vez referencia artículos muy interesantes), comparto el hecho que el término es puro marqueting, y que el objetivo es vender más hardware para centros de proceso de datos; que los algoritmos no habrán mejorado tanto en los últimos años. Y que si has llegado al Big Data porque pensaste que era algo totalmente nuevo, te equivocaste.

Intento ceñirme estrictamente al tema de la utilidad del Big Data.  Dejo a un lado las consecuencias en la privacidad, y otros debates que me parecen relevantes para esta temática. Me gustaría verlo desde el punto de vista más técnico.

Porque claro, eso es el mercado.  No veo yo ningún sector en el que eso de intentar vender, no suceda.  Lo que ahora es Big Data, antes fue data mining, inteligencia artificial,... Y así podríamos ir tirando del hilo hasta llegar al momento en que la informática y las matemáticas (o directamente la estadística) cruzaron sus caminos (y eso fue bastante pronto). Eso, el uso del márqueting para vender más, desde los ojos de un técnico, es ignorable.

Tambien, mientras imagino ese volumen de datos, pienso en la cantidad de ruido que habrá. Y aunque no es deseable, también es intrínseco al análisis.  Antes de decidir la señal que queremos extraer de los datos, estaba el ruido. La señal no es más que una porción del ruido que responde a nuestras preguntas.  Entonces, en ese ruido está el sonido que buscamos. El ruido, a pesar de todo, es deseable. Porque el ruido es contexto.

Filtrar ese ruido tiene su intríngulis. Pero por ejemplo, ese filtrado puede ser iterativo. Incluso puede hacerse después de recopilar datos en bruto (con el permiso de las políticas de uso de las APIs). Tener una buena base de datos y que un técnico pueda responder con algunos càlculos a las preguntas que le caen al vuelo, formuladas por un responsable de negocio: no veo yo que sea para tirarse de los pelos. Si sólo se dispone de los datos estrictamente necesarios para llevar a cabo un experimento, el resto de preguntas quedan fuera.

Por eso, cuando pienso en la parte Big del término, no me sugiere el volumen de datos: más bien pienso en la cantidad de preguntas que pueden responder y que antes no podíamos preguntarle a los datos. Desde mi punto de vista el Big Data es el mar, o el acuario. Es el espacio en el que se desarrolla (o simula, o analiza) todo un ecosistema. No son solo los datos, sino también el contexto que podemos apreciar si podemos aprovechar esos datos. Es lo que permite trabajar con los datos como si estuviéramos en un entorno real.

Por eso, es cierto que si un estudio está enfocado (y eso me parece correcto) hacia preguntas muy concretas, este volumen de datos es excesivo. Pero rechazar el Big Data porque tiene ruido, o porque  el conjunto de datos no da valor en conjunto, pues no lo comparto. El mar está lleno de espacios vacíos. Y de peces. Es una cuestión de reenfoque.

Sería como si el pescador no pescara más porque hoy no ha capturado nada. Ese pescador no se da cuenta que el propio hecho de no haber capturado nada hoy, le está dando información sobre su contexto de pesca, que le puede ayudar a tomar decisiones. Y que sin ese mar, no tendría esa posibilidad. Ese pescador está aprendiendo a pescar. Encontrará más valor buscando las corrientes de agua y los arrecifes. Esto le llevará tiempo. Pero si le gusta pescar, aprenderá.

Me planteo una actitud diferente ante el Big Data. Cambio el proceso de análisis a fondo, por un enfoque más contemplativo. Cambio el contraste de hipótesis por un buen análisis exploratorio de los datos. Cambio las respuestas, por las historias que hay detrás.

Pero quizá me equivoque. Es probable ;-).