Duas marcas, em dois ambientes diferentes
Os mais de 2.000 pontos de venda que reúnem diariamente as marcas Inkafarma e Mifarma geram informações relevantes sobre as vendas e, em geral, os padrões de consumo dos seus clientes. Assim, eles coletam diariamente informações por região em diferentes bancos de dados que acabam concentrados em dois servidores distintos. O problema para o cliente era que, embora seja verdade que os dados foram recolhidos com moderada facilidade, era difícil analisá-los, uma vez que estes grandes volumes mal conseguiam ser concentrados (com horas de atraso) e demorava mais de um dia para gerar insights a partir de suas informações.
O facto de os dados gerados por ambas as cadeias estarem alojados em dois servidores diferentes explica-se pelo facto de a Mifarma ter sido recentemente adquirida pela Intercorp, holding empresarial peruana proprietária da Inkafarma. Consequentemente, a integração dos dados da Inkafarma e da Mifarma apresentou-se como um desafio. Nesse sentido, Rolando Castro, Diretor de TI da Farmacias Peruanas, afirma: “Existe uma visão para o InRetail migrar nossas informações para a nuvem. No caso das Farmacias Peruanas a complexidade era maior porque não se tratava apenas de um sistema, mas de dois sistemas diferentes em processo de integração. Não poderíamos coexistir com dois sistemas de informação diferentes. Havia o problema da lentidão no carregamento, que atrapalhava nosso objetivo de democratizar os dados.”
As fontes de dados de ambas as marcas, Inkafarma e Mifarma, foram as vendas das farmácias localizadas em todo o país. No caso da Mifarma, os dados estavam concentrados numa base de dados Oracle alojada internamente nos escritórios da empresa; A Inkafarma também fez isso em um banco de dados Oracle localizado em um data center da IBM. Nesse sentido, a necessidade de Farmacias Peruanas era analisar esses dados o mais rápido possível antes do 'dia seguinte' para poder, com base na análise das vendas, tomar decisões de gestão no 'dia anterior'.
Antes de o cliente chegar à Xertica, o processo em questão era lento e as informações demoravam cerca de nove horas para serem processadas. Com a integração das operações das duas marcas, cresceu o risco de o processamento de dados ficar ainda mais lento.
Iniciando a migração
A informação extraída de ambos os servidores era essencialmente de vendas. A migração incluiu entre as duas marcas cerca de 200 mesas, algumas master e outras transacionais da venda do dia. As informações foram carregadas desde 2015, para ter um histórico sólido.
Os insights obtidos nesses servidores totalizaram vendas diárias, geraram comparações ano a ano, entre outros. Toda essa lógica estava no código Oracle PL/SQL. Para aproveitar as facilidades da nuvem, a Xertica utilizou o Bigquery do Google Cloud Platform (GCP). Consequentemente, o código PL/SQL foi traduzido para o BigQuery SQL.
A extração é feita diretamente das fontes de dados através de uma conexão VPN (Virtual Private Network). Finalizado o processo de extração das informações diárias, inicia-se o processo ELT (Extract, Load and Transform), com a utilização da ferramenta Matillion na extração e carregamento dos dados. Uma vez totalmente carregados os dados, inicia-se o processo de transformação e chegam-se às tabelas finais que Farmacias Peruanas necessita para obter insights, que servem para gerar estratégias de impacto no consumidor.
Menos tempo de processamento, mais insights
Quando a implementação foi concluída, o resultado final foi que todos estes processos de ambas as marcas, que para além dos cálculos de vendas, acrescentaram também novos dados de stocks e vendas gerados através do canal online, foram executados num máximo de 2 horas e 30 minutos. minutos, o processo começou a rodar todos os dias a partir das 3h e terminou às 5h30, então de madrugada eles já tinham os insights do dia anterior em time-to-market.
O componente diferencial do projeto liderado pelo que o BigQuery pode oferecer em termos de tempo de resposta e volumes de informação processada. Atualmente, todos esses volumes de milhões de registros são processados em curtos períodos de tempo.
BigQuery é um produto serverless, altamente escalável e economicamente rentável que nos permite ter um Data Warehouse com funcionalidades de ML e um motor de BI integrado. É um dos produtos estrela do Google Cloud Platform, que tem cada vez mais seguidores em todo o mundo.
Por fim, formar uma equipe de trabalho comprometida e dedicada ao projeto foi fundamental. A este respeito, Lisbeth Atachagua, Líder de Dados das Farmacias Peruanas, enfatiza: “Por parte da Xertica foram muito acessíveis na atribuição de recursos humanos à inteira disposição das Farmacias Peruanas para resolver no local os pontos problemáticos que inicialmente atrasaram o cronograma de trabalho . A partir desse momento o plano passou a correr conforme o estipulado e com os resultados esperados pelo negócio.”
