Quantile-based Recalibration of Artificial Neural Networks

Abstract

Redes neurais artificiais são ferramentas poderosas, amplamente utilizadas atualmente para previsão e modelagem de dados. Embora venham se tornando cada vez mais poderosas, mel horias recentes vêm impactando negativamente sua calibração em prol de maior capacidade de previsão, tornando sua real confiança difícil de avaliar (Guo et al., 2017) – ou seja, a acurácia de suas previsões não corresponde à sua estimativa de confiança. Para ilustrar, considere um evento que ocorre 90% das vezes em um experimento aleatório infinito. Uma previsão para tal evento, realizada por um modelo bem calibrado, deveria então cair dentro de um intervalo de 90% de credibilidade cerca de 90% das vezes. Para mitigar este problema, propomos um método de pós-processamento baseado em quan tis para recalibração de redes neurais. O método explora a informação contida nas probabili dades acumuladas, pi = Fˆi(yi|xi), onde xi e yi representam, respectivamente, o i-ésiamo vetor de variáveis explicativas e a i-ésiama variável dependente de um conjunto de recalibração. Fˆi denota a distribuição preditiva acumulada da rede neural. Por meio do método proposto, é possível obter amostras de Monte Carlo da distribuição preditiva recalibrada.