Ciclo de vida de data warehouse baseado em NoSQL : adaptações e análise de desempenho de arquiteturas

Abstract

O contexto de Data Warehouse (DW) encontra-se em constante transformação nas organizações públicas e privadas. Tendo em vista que os DWs originalmente se apoiavam nos bancos de dados relacionais, com o surgimento do Big Data, novas propostas para a gestão de grandes volumes de dados têm sido definidas na literatura, motivando um investimento em soluções alternativas por parte de diversas organizações. Assim, uma das alternativas existentes é utilizar soluções Not-only SQL (NoSQL) para processar DW, devido às suas características de flexibilidade e escalabilidade. Tendo em vista o ciclo de vida de DW sugerido por Kimball, foi proposta uma adaptação a esse ciclo de vida convencional para quando se migra para o paradigma NoSQL com diferentes bancos de dados NoSQL pré-selecionados. Em seguida, foi feito um estudo de caso para desenvolver DWs baseados nesses bancos de dados NoSQL (MongoDB e HBase) com a visão do ciclo de vida de Kimball adaptada ao paradigma NoSQL, com o objetivo de validar a proposta e identificar a viabilidade de se trabalhar com a tecnologia NoSQL em DW. No estudo de caso realizou-se uma análise de desempenho da utilização de BDs NoSQL e comparou-se os resultados com os do DW relacional (MySQL). Apesar de o ciclo de vida apresentar diversas etapas, este trabalho enfatizará as etapas de modelagem dimensional e projeto físico, tendo em vista sua relevância no contexto do ciclo de vida de um DW. Com a implementação do estudo de caso foi possível verificar a influência da modelagem de dados no desempenho das consultas selecionadas, assim como de outros parâmetros, fortalecendo as sugestões de adaptação do ciclo de vida de um DW NoSQL para os bancos de dados analisados.