LA NECESIDAD DE UNA MAYOR DISPONIBILIDAD DE LOS DATOS
En su proceso de transformación, Grupo Éxito se planteó la necesidad de afinar datos relacionados a la visibilidad logística (todos los movimientos que tiene un centro de distribución para mover la mercancía hacia almacenes), ventas e inventarios. Ello con el fin de ofrecer altos estándares de eficiencia en la asignación de recursos para los más de 2,600 puntos de venta que maneja la compañía en la región. Luz Marina Gallego, Analista de Informática del Dpto. de Servicios Analíticos de Negocios en Grupo Éxito, señala: “Antes de que empezáramos a trabajar con Xertica, la información de ventas en línea se albergaba en nuestro servidor en Teradata Hadoop, pero tomaba mucho tiempo su actualización: en ocasiones tardaba más de 15 minutos. El reto inicial era dejar de almacenar la información en Hadoop y llevar los datos hacia una tecnología que nos permitiera ver la información en near-time. Así llegamos a la nube de GCP.”
Un problema que presentaba la tecnología previa era la menor disponibilidad de los datos generados por la compañía: “Solo se mostraban las ventas de un día, lo que obligaba a nuestro equipo a que, cuando empezaba un nuevo día, se borren los datos del día previo”, refiere Gallego.
EL CAMINO HACIA LA NUBE
El proyecto consistió en configurar los flujos de venta e inventario en near-time y visibilidad logística de los diversos SKU’s que la compañía provee a través de sus puntos de venta para, luego, construir un data lake hacia donde se puedan depositar. El reto supuso poder incluir la información de dichos flujos en un data lake que habilite al cliente a ejecutar una explotación de dicha información en beneficio de sus objetivos de negocio.
En el frente de infraestructura, se debió hacer una integración entre Cloud Identity y las consolas utilizadas por Grupo Éxito (OpCon). Posteriormente, la configuración de los flujos de venta, inventario y visibilidad logística se llevó a cabo a través de Matillion para luego llevarlos al data lake de GCP.
La arquitectura diseñada por Xertica se sostiene en las siguientes de clave:
Uso de Cloud Identity para gestión de cuentas de usuario. Cloud Identity permite a Grupo Éxito acceder a GCP para administrar los proyectos de forma centralizada mediante Cloud Resource Manager.
Para conectar de forma segura la red local on-premise de Grupo Éxito a GCP, se usó Cloud VPN.
Matillion para la ejecución de procesos de ingesta y transformación, gobernado por OpCon. Matillion permitió orquestar la extracción, transformación y carga de datos a Big Query, el data warehouse empresarial de alta disponibilidad utilizado para realizar consultas súper rápidas respaldadas por la potencia de procesamiento de la infraestructura de GCP.
Uso de Microstrategy, Power BI y Google Data Studio para consumo masivo de reportes.
RESULTADOS
En la actualidad, Grupo Éxito tiene a su disposición un total de 75 dashboards con analítica para la toma de decisiones. Más específicamente, 50 reportes diarios, 19 reportes de tendencia y 6 reportes comparativos. En el pasado, solo se tenía la información de dos centros de distribución; en la actualidad, el alcance se está ampliando hacia más centros de distribución.
Un problema que presentaba la tecnología previa era la menor disponibilidad de los datos generados por la compañía. En el pasado, Hadoop no permitía guardar el historial de datos. Sin embargo, “desde que empezó el proyecto en productivo en febrero del 2020, ya podemos consultar todo el historial de ventas día a día”, concluye Gallego.
El proyecto liderado por Xertica buscó independizar el consumo de datos según tipo de proceso. Todo lo que consume datos en línea, se sube a la nube de GCP; mientras que los datos en batch se mantienen on-premise en Teradata. Así, se ha podido alinear el consumo de datos en línea en una infraestructura que pudiera procesar dicha data en tiempo real, con un período de actualización de 3 minutos; es decir, una reducción de hasta 80% en tiempo de procesamiento de datos.
