http://repositorio2.unb.br/jspui/handle/10482/34481| Arquivo | Descrição | Tamanho | Formato | |
|---|---|---|---|---|
| 2018_DéboraGomesdosReis.pdf | 1,89 MB | Adobe PDF | Visualizar/Abrir |
| Título: | Uso de técnicas de mineração de dados para identificar estruturas similares de bancos de dados |
| Autor(es): | Reis, Débora Gomes dos |
| Orientador(es): | Ladeira, Marcelo |
| Assunto: | Banco de dados Metadados Mineração de dados (Computação) Arquitetura híbrida |
| Data de publicação: | 30-Abr-2019 |
| Data de defesa: | 30-Jul-2018 |
| Referência: | REIS, Débora Gomes dos. Uso de técnicas de mineração de dados para identificar estruturas similares de bancos de dados. 2018. xii, 89 f., il. Dissertação (Mestrado Profissional em Computação Aplicada)—Universidade de Brasília, Brasília, 2018. |
| Resumo: | Com a crescente quantidade e tamanho das bases de dados, é cada vez mais difícil identificar as similares dentre grandes bases de dados armazenadas em diferentes Sistemas Gerenciadores de Banco de Dados (SGBDs). Por isso, é proposto o uso de técnicas de mineração de dados para identificar as estruturas similares de bancos de dados relacionais através da comparação de seus metadados. A quantidade de metadados é proporcional à quantidade de objetos de bancos de dados e as possibilidades de combinações para a comparação é quadrática em relação ao número de esquemas analisados. Em busca da técnica mais eficiente, foi proposta uma abordagem que calcula a similaridade de esquemas avaliando a distância de todos os esquemas para um esquema, considerado como origem. Obviamente, esquemas mais próximos são mais similares que esquemas mais distantes. Esta abordagem foi comparada com outras duas abordagens. A primeira compara todos os esquemas contra todos os outros esquemas, exceto a comparação inversa. A segunda abordagem compara os grupos de esquemas com tamanhos parecidos. Para validar as abordagens, é realizado um experimento com 354 esquemas reais de tamanhos pequeno a grande que variam de 2 a 20 mil objetos de banco de dados, advindos de 5 SGBDs de um Ministério do Brasil. Eles somam juntos mais de 26 mil tabelas e 238 mil colunas. Os metadados extraídos foram tratados e comparados em pares de esquemas. A similaridade das variáveis textuais é mensurada usando a distância cosseno e a das numéricas usando a distância euclidiana. A técnica de clusterização hierárquica é aplicada para facilitar a visualização dos esquemas mais similares. Como resultado, a abordagem proposta se mostrou a mais eficiente, identificou os esquemas com estruturas mais similares em menos de 2 minutos. Os metadados extraídos foram usados para criar o repositório de metadados da organização. Como isso, descobriu-se bancos de dados duplicados que, ao serem descontinuados, geraram economia de 10% no custeio e liberaram recursos de infraestrutura. Esta abordagem é flexível porque suporta uma variedade de SGBDs, de quantidade e de tamanhos de bases de dados. |
| Abstract: | With the expanding diversity of database technologies and database sizes, it is becoming increasingly hard to identify similar relational databases among many large databases stored in different Database Management Systems (DBMS). Therefore, we propose to use data mining techniques to automatically identify similar structures of relational databases by comparing their metadata. The amount of metadata is proportional to the size of the schema structure. The possibilities of combinations for comparison is quadratic in relation to the number of schemas analyzed. Looking for the most efficient technique, we propose to calculate the schema similarity evaluating a distance of all the schemas to just one schema, which is a start point. Obviously schemas with close distances are more similar than schemas with bigger distances. We compare this proposal against two other approaches. The first approach compares all schemas against all another schemas except for its inverse comparison. The second approach compares schemas in a group of schemas with similar sizes. To validate our proposal, an experiment is performed with 354 real schemas ranging in sizes from 2 to 20 thousand metadata, totaling together more than 26 thousand tables and 238 thousand columns. Those schemas came from 5 different DBMS. The metadata extracted is transformed and formatted for comparing pairs of a schema. The textual features are compared using Cosine Distance and numerical features are compared using Euclidean Distance. Then, the hierarchical cluster technique is used to facilitate the visualization of the schema that most closely resembled one another. Results showed that, our was the most efficient because it compared all schema and identified the most similar schema by its structure in less than 2 minutes. The extracted metadata was used to create the first version of the metadata repository and an initial version of a data catalog. Using this procedure, duplicated schemas were discovered and then discontinued, resulting in a cost savings of 10% of cost savings, while freeing up infrastructure resources. This solution is flexible, it supports a variety of number of schema, of schema sizes, and DBMS. |
| Unidade Acadêmica: | Instituto de Ciências Exatas (IE) Departamento de Ciência da Computação (IE CIC) |
| Informações adicionais: | Dissertação (mestrado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2018. |
| Programa de pós-graduação: | Programa de Pós-Graduação em Computação Aplicada, Mestrado Profissional |
| Licença: | A concessão da licença deste item refere-se ao termo de autorização impresso assinado pelo autor com as seguintes condições: Na qualidade de titular dos direitos de autor da publicação, autorizo a Universidade de Brasília e o IBICT a disponibilizar por meio dos sites www.bce.unb.br, www.ibict.br, http://hercules.vtls.com/cgi-bin/ndltd/chameleon?lng=pt&skin=ndltd sem ressarcimento dos direitos autorais, de acordo com a Lei nº 9610/98, o texto integral da obra disponibilizada, conforme permissões assinaladas, para fins de leitura, impressão e/ou download, a título de divulgação da produção científica brasileira, a partir desta data. |
| Aparece nas coleções: | Teses, dissertações e produtos pós-doutorado |
Os itens no repositório estão protegidos por copyright, com todos os direitos reservados, salvo quando é indicado o contrário.