Enhancing accuracy through an efficient ensemble of geographically fine-tuned positional encoder graph neural networks

Abstract

A presente pesquisa investiga uma nova abordagem para melhorar a precisão preditiva e a capacidade de generalização de redes neurais em grafos (Graph Neural Networks - GNNs) aplicadas a dados espaciais. Dados espaciais oferecem insights valiosos sobre fenômenos geográficos e relações espaciais, apresentando desafios únicos que requerem metodologias analíticas dedicadas. Características como autocorrelação espacial, heterogeneidade espacial e nãoestacionaridade espacial dificultam a aplicação de técnicas convencionais de aprendizado de máquina, que geralmente assumem a independência dos pontos de dados ou relações lineares. Baseados no algoritmo estado da arte para regressão em dados espaciais proposto por (Klemmer, Safir, and Neill, 2023), as inovações propostas nesta pesquisa são as seguintes: primeiramente, introduzimos uma Função de Perda Ponderada, que implementa um mecanismo de ponderação na função de perda, permitindo que o modelo priorize o aprendizado de pontos de dados com base em sua proximidade espacial. Em segundo lugar, é proposto a Escolha Eficiente de Modelos Localizados, onde, baseados em mecanismos de clusterização, modelos locais são criados reduzindo o número de modelos necessários e aumentando a eficiência computacional. Em terceiro, é utilizado um Ensemble de Modelos Locais, combinando previsões dos múltiplos modelos localizados para suavizar erros e reduzir o impacto de imprecisões de qualquer modelo individual. Quarto, a Utilização de Pesos Pré-Treinados inicializa modelos locais com pesos de um modelo global previamente treinado, melhorando a eficiência do treinamento e fornecendo uma base robusta. Por fim, introduzimos uma Matriz de Distância com Redução Dimensional, que usa distâncias entre clusters em vez de entre todos os pontos, simplificando a carga computacional. Para avaliar a eficácia da abordagem proposta, utilizamos dois conjuntos de dados reais que contêm informações geográficas. O primeiro é o California Housing, que inclui preços de mais de 20.000 casas na Califórnia, coletados a partir do censo dos EUA de 1990 e com objetivo de previsão dos preços das casas com base em características como idade da casa e número de quartos, além de suas localizações geográficas. O segundo conjunto de dados é o Air Temperature, que contém coordenadas de 3.000 estações meteorológicas ao redor do mundo. Neste caso, a tarefa de regressão é prever as temperaturas médias a partir da precipitação média e da localização das estações. A função de perda ponderada, que prioriza o aprendizado a partir de pontos de dados com base em sua proximidade espacial, mostrou-se eficaz em melhorar a sensibilidade às variações locais, aumentando significativamente o desempenho do modelo para o conjunto de dados Air temperature. Além disso, a análise de sensibilidade revelou que aumentar o número de clusters ou a largura de banda geralmente melhora a precisão do modelo, mas até certo ponto, após o qual as melhorias se estabilizam ou diminuem. Esses achados indicam que a simples elevação desses parâmetros sem considerar suas interações pode resultar em resultados subótimos, destacando a necessidade de métodos mais sofisticados para a seleção desses valores.