Gartner define el Dark Data (datos oscuros): como los activos de información que recopilan, tratan y almacenan las organizaciones durante sus actividades empresariales habituales, pero que no suelen utilizar para otros fines (por ejemplo, estadísticas, relaciones empresariales y monetización directa). De forma parecida a la materia oscura en física, el Dark Data suele incluir gran parte del universo de activos de información de las organizaciones. De este modo, las organizaciones suelen conservar el Dark Data a meros efectos de cumplimiento. Almacenar y proteger datos suele significar incurrir en más gastos (y en ocasiones mayor riesgo) que en valor.
El Dark Data comprende un tipo de datos no estructurados, no etiquetados y desaprovechados, que se encuentran en los almacenes de datos y no se han analizado ni tratado. Son parecidos a los macrodatos pero se diferencia en que en su mayoría, los administradores de negocio y de TI ignoran el valor que tienen.
El Dark Data también se conocen como “datos polvorientos“.
Son datos que se encuentran en los archivos de registro y archivos, y se almacenan en los lugares de almacenamiento de datos de las grandes empresas. Entre otros, serían todos los objetos y tipos de datos que se tienen que analizar para cualquier negocio, inteligencia competitiva o ayuda para tomar decisiones empresariales. Normalmente, estos datos oscuros son difíciles de analizar y se almacenan en lugares en los que analizarlos resulta complicado. Todo proceso puede ser caro. También pueden ser datos que la empresa aún no haya aprovechado, o datos que sean externos a la organización, como datos almacenados por socios o clientes.
IDC afirma que hasta el 90% de los macrodatos son Dark Data
Con la creciente acumulación de datos estructurados, no estructurados y semiestructurados en organizaciones -cada vez más a través de la adopción de aplicaciones de macrodatos– los datos oscuros llegan para denotar datos operativos que se dejan sin analizar. Tales datos se ven como una oportunidad económica para las empresas si pueden aprovecharlos para obtener nuevos ingresos o reducir costes internos. Algunos ejemplos de datos que se suelen quedarse en la oscuridad son los archivos de registro de servidor que pueden ofrecer información sobre el comportamiento de los visitantes de sitios web, registros de detalles de llamadas de clientes y datos de geolocalización móvil que pueden revelar los patrones de tráfico que contribuirían a la planificación empresarial. El Dark Data oscuros puede utilizarse para describir datos a los que ya no se puede acceder porque se han almacenado en dispositivos que se han quedado obsoletos.
Clasificación del Dark Data
- Los datos que no se están recopilando actualmente.
- Datos que se están recopilando, pero a los que resulta difícil acceder en el momento y lugar correctos.
- Datos que se están recopilando y están disponibles, pero que aún no se han convertido en productos o no se han aplicado completamente.
El Dark Data, a diferencia de la materia oscura, puede sacarse a la luz, al igual que el rendimiento de la inversión potencial de los mismos. Es más, un cambio en la perspectiva sobre la usabilidad de los datos, a través de un análisis coste-beneficio, puede eliminar la complejidad que rodeaba a los que antes fueran misteriosos “datos oscuros”.
El valor del Dark Data
El principal reto que presenta el Dark Data no es solo el almacenamiento, sino determinar su valor real, si es que tiene alguno. De hecho, muchos datos no salen a la luz porque las organizaciones simplemente no saben lo que contienen. Destruirlos podría ser muy arriesgado, pero analizarlos puede ser costoso. Y resulta difícil justificar ese gasto si se desconoce el valor potencial de los datos. Para determinar si el Dark Data merece un análisis ulterior, las organizaciones necesitan contar con medios de selección rápida y rentable, que estructuren y visualicen los datos. Un hecho importante a la hora de comprender el Dark Data es entender que no es un acontecimiento aislado.
El primer paso para entender su valor es identificar qué información contienen, dónde se encuentra y el estado actual respecto a su exactitud, antigüedad, etc. Llegar a este estado exige:
- Analizar los datos para entender los fundamentos, como cuántos datos se tienen, dónde se encuentran y cuántos tipos (estructurados, no estructurados, semiestructurados) hay.
- Categorizar los datos para empezar a entender cuántos datos y de qué tipos se tienen, así como la naturaleza general de la información que contienen (formato, antigüedad, etc).
- Clasificar la información en función de lo que pasará después. ¿Se utilizará? ¿Se destruirá? ¿Se estudiarán en mayor profundidad estos datos? Una vez tomadas estas decisiones, se pueden enviar los grupos de datos a distintos lugares para aislar la información que se quiera analizar con mayor detalle.
Una vez identificado el contexto relativo de los grupos de datos, nos podemos centrar en los datos que consideremos que pueden proporcionar conocimiento. También tendremos una imagen más clara de todo el entorno de los datos relativos a la organización, para poder establecer políticas de gobernanza de la información que aliviarán la carga del Dark Data, mientras empiezan a trabajar.
El futuro del Dark Data
Las empresas de reciente creación que persiguen los problemas del Dark Data no suelen operar en mercados con clientes conscientes de sus problemas. Crean nuevos mercados sacando a la luz nuevos tipos de datos y creando aplicaciones inimaginables con esos datos. Pero cuando tienen éxito, se convierten en grandes empresas, irónicamente, con grandes problemas de datos.
La pregunta que muchas personas se están planteando es: ¿qué se debe hacer con el Dark Data? Algunos opinan que los datos no se deben tirar nunca, porque el almacenamiento es barato y que pueden servir para algo en el futuro.
Este texto también está publicado en el perfil de LinkedIn de Ahmed Banafa
Ahmed Banafa
Faculty | Autor | Conferenciante| 5-time instructor of the year
Referencias:
http://h30458.www3.hp.com/us/us/discover-performance/info-management-leaders/2014/jun/tapping-the-profit-potential-of-dark-data.html
http://h30458.www3.hp.com/ww/en/ent/You-have-dark-data_1392257.html
http://www.gartner.com/it-glossary/dark-data
http://www.techopedia.com/definition/29373/dark-data
http://searchdatamanagement.techtarget.com/definition/dark-data
http://www.computerweekly.com/opinion/Dark-data-could-halt-big-datas-path-to-success
http://www.forbes.com/sites/gartnergroup/2014/05/07/digital-business-is-everyones-business/
https://medium.com/what-i-learned-building/7d88d014ba98
http://blogs.pb.com/digital-insights/2014/05/05/dark-data-analytics/
http://blogs.computerworld.com/business-intelligenceanalytics/23286/dark-data-when-it-worth-being-brought-light
Comentarios sobre esta publicación