Information-theoretic analysis of convolutional autoencoders

Abstract

O uso de conceitos da Teoria da Informação para entender redes neurais profundas tem sido extensivamente explorado nos últimos anos. O framework do Aprendizado Teórico da Informação que resultou desse uso foi reconhecido como uma ferramenta potencialmente importante para compreender os mecanismos de aprendizado empregados durante o processo de treinamento das redes neurais profundas, para o estudo do qual ainda faltam métodos teóricos e sistemáticos de análise. O uso de medidas estatísticas derivadas da Teoria da Informação, tais como entropia e informação mútua, tem permitido um melhor entendimento de como a informação flui através das redes supracitadas durante seu treinamento. Ele também possibilitou a criação de métodos sistemáticos para projetar e analizar essas redes de uma maneira mais rigorosa, o que por sua vez permite a criação de arquiteturas mais eficientes e robustas. Este trabalho visa investigar a extensão de um método baseado no framework supracitado para a detecção automática da dimensão do gargalo de um autocodificador convolucional, cujo objetivo é encontrar a compressão óptima para as imagens a ele apresentadas.