DESENVOLVIMENTO DE UMA PIPELINE DE DADOS UTILIZANDO SOLUÇÕES OPEN-SOURCE EM UM AMBIENTE DE BIG DATA

Resumo

Este artigo apresenta o desenvolvimento de uma pipeline de dados de ponta a ponta usando apenas soluções open-source em um contexto de Big Data. O propósito é integrar diferentes tecnologias emergentes para solucionar desafios na criação de um fluxo de processamento de dados de alto desempenho. O artigo emprega Docker para conteinerização, Trino para consultas de dados e arquivos no formato Parquet para um armazenamento eficaz e rastreável. Também utiliza Airflow para orquestração de fluxos de trabalho e Spark para processamento de dados distribuídos. Os resultados demonstram que é possível desenvolver uma pipeline sem o uso de ferramentas proprietárias, oferecendo assim, uma opção para pequenas e médias empresas, que por sua vez lidam com um orçamento limitado. O projeto é capaz de fornecer uma pipeline autogerenciada e totalmente dinâmica, mas que demanda um consumo significativo de recursos, destacando a importância de otimização para escalabilidade em ambientes de produção.