Integración de tecnologías big data en soluciones de enterprise data warehouse

Abstract

En este trabajo se propone una solución para un caso de uso de análisis de archivos de logs (registro de eventos de un servidor web) que incorpora tecnologías de Big Data al Enterprise Data Warehouse (EDW) actualmente en uso, en particular se utiliza Apache Hadoop y algunos productos open-source de su ecosistema, como Flume para la incorporación de la nueva fuente de datos, MapReduce (Pig y Hive) y HDFS para procesarlos y almacenarlos de manera distribuida, Sqoop para integrarlos al EDW y Qlikview para la visualización y análisis. A su vez se describe la problemática actual de las pequeñas y medianas empresas con respecto al manejo de sus datos para el análisis y la toma de decisiones en todos los niveles de la organización (operativas, tácticas y estratégicas) y la necesidad de incorporar técnicas de Analítica avanzada, con el objetivo de seguir siendo competitivas en el contexto de la Transformación digital que las empresas pioneras en adoptar nuevas tecnologías disponibles están llevando a cabo. Se analiza el nuevo paradigma de Data Lake que las empresas deberían adoptar para seguir siendo competitivas, en particular pequeñas y medianas empresas que actualmente poseen soluciones de EDW, y se propone la adopción de tecnologías de Big data y procesamiento en la nube para que un cliente hipotético pueda adecuarse al nuevo escenario.