Diseño de una plataforma de integración de datos con transformaciones automatizadas (ETL inteligente) utilizando azure data factory, databricks y Power BI

Abstract

Las empresas que no logran una integración de datos eficiente experimentan una disminución del 30 % en su productividad operativa, según un informe de Deloitte sobre el impacto de la transformación digital en las empresas. Esta falta de integración puede colocarlas en desventaja frente a competidores que tienen acceso a datos en tiempo real para apoyar decisiones estratégicas. En sectores como el retail y la logística, donde la capacidad de responder rápidamente a los cambios del mercado es crucial, esta desventaja puede traducirse en pérdida de ingresos y menor capacidad de innovación. La intervención manual para ajustar procesos de ETL puede ser lenta, más aún cuando ocurren cambios inesperados en los datos de origen, originando que los datos no estén disponibles en el tiempo que se requieren para el análisis, afectando la capacidad de la empresa para responder rápidamente a las tendencias y necesidades del mercado. Con cada ajuste manual, aumenta la posibilidad de cometer errores, especialmente cuando las reglas de negocio o los esquemas de datos son difíciles, estos pueden generar datos incorrectos que afectan la calidad del análisis y la confianza en los datos por parte de los usuarios. Con este trabajo de grado se diseñó una solución basada en los servicios de Azure, integrando Azure Data Factory para la orquestación de procesos ELT, Azure Databricks para el desarrollo de transformaciones inteligentes de datos y Power BI para la construcción de tableros de control interactivos. El objetivo fue disponibilizar todos los procesos de ingesta de información, generación de reportes, dashboards e indicadores clave, con el fin de optimizar los procesos y tecnologías actualmente utilizadas por la empresa. Asimismo, se propició una transición operativa gradual hacia la nueva plataforma, acompañada de un proceso de transferencia de conocimiento que permitió desarrollar capacidades en el personal para el uso, explotación y aprovechamiento de esta solución de Business Intelligence (BI) moderna y escalable. Usar Power BI integrado con Databricks combina lo mejor de dos mundos: el procesamiento avanzado y la escalabilidad de Databricks con la facilidad de uso y la potencia de visualización de Power BI, haciendo que los datos sean más accesibles, accionables y relevantes para todos los niveles de la organización.