A NECESSIDADE DE MAIOR DISPONIBILIDADE DE DADOS
No seu processo de transformação, o Grupo Éxito considerou a necessidade de refinar os dados relacionados com a visibilidade logística (todos os movimentos que um centro de distribuição tem para transportar mercadorias para os armazéns), vendas e inventários. Isso para oferecer altos padrões de eficiência na alocação de recursos para os mais de 2.600 pontos de venda que a empresa administra na região. Luz Marina Gallego, Analista de TI do Departamento de Serviços Analíticos de Negócios do Grupo Éxito, destaca: “Antes de começarmos a trabalhar com Xertica, as informações de vendas online estavam hospedadas em nosso servidor Teradata Hadoop, mas demorava muito para ser atualizada: às vezes demorava. demorou mais de 15 minutos. O desafio inicial foi parar de armazenar informações no Hadoop e mover os dados para uma tecnologia que nos permitisse ver as informações quase no tempo. “É assim que chegamos à nuvem GCP.”
Um problema que a tecnologia anterior apresentava era a menor disponibilidade dos dados gerados pela empresa: “Só eram mostradas as vendas de um dia, o que obrigava nossa equipe a deletar os dados do dia quando começava um novo dia anterior”, diz Gallego.
A ESTRADA PARA A NUVEM
O projeto consistiu em configurar fluxos de vendas e estoques em tempo próximo e visibilidade logística dos diversos SKUs que a empresa disponibiliza através de seus pontos de venda e posteriormente construir um data lake onde eles possam ser armazenados. O desafio consistia em poder incluir a informação destes fluxos num data lake que permitisse ao cliente explorar essa informação em benefício dos seus objetivos de negócio.
Na frente de infraestrutura, foi necessária uma integração entre o Cloud Identity e os consoles utilizados pelo Grupo Éxito (OpCon). Posteriormente, a configuração dos fluxos de vendas, estoque e visibilidade logística foi realizada através do Matillion e depois trazida para o Data Lake do GCP.
A arquitetura desenhada pela Xertica é baseada nos seguintes pontos-chave:
Uso do Cloud Identity para gerenciamento de contas de usuários. O Cloud Identity permite que o Grupo Éxito acesse o GCP para gerenciar projetos centralmente por meio do Cloud Resource Manager.
Para conectar com segurança a rede local do Grupo Éxito ao GCP, foi utilizado o Cloud VPN.
Matillion para execução de processos de ingestão e transformação, regidos pela OpCon. O Matillion possibilitou a orquestração da extração, transformação e carregamento de dados no Big Query, o data warehouse empresarial altamente disponível usado para consultas super-rápidas, apoiado pelo poder de processamento da infraestrutura do GCP.
Utilização de Microstrategy, Power BI e Google Data Studio para consumo massivo de relatórios.
RESULTADOS
Atualmente o Grupo Éxito tem à sua disposição um total de 75 dashboards com análises para tomada de decisão. Mais especificamente, 50 relatórios diários, 19 relatórios de tendências e 6 relatórios comparativos. No passado, as informações estavam disponíveis apenas para dois centros de distribuição; Hoje, o alcance está se expandindo para mais centros de distribuição.
Um problema que a tecnologia anterior apresentava era a menor disponibilidade dos dados gerados pela empresa. No passado, o Hadoop não suportava o salvamento do histórico de dados. Porém, “desde que o projeto iniciou a produção em fevereiro de 2020, agora podemos consultar todo o histórico de vendas dia a dia”, finaliza Gallego.
O projeto liderado pela Xertica buscou tornar o consumo de dados independente de acordo com o tipo de processo. Tudo o que consome dados online é carregado na nuvem do GCP; enquanto os dados em lote são mantidos localmente no Teradata. Assim, foi possível alinhar o consumo de dados online com uma infraestrutura capaz de processar esses dados em tempo real, com um período de atualização de 3 minutos; ou seja, redução de até 80% no tempo de processamento de dados.
