3D immersive content processing and compression

Abstract

Esta tese aborda avanços em técnicas de compressão e super-resolução para nuvens de pontos e meshes dinâmicas em 3D, representações 3D fundamentais em aplicações como realidade virtual, navegação autônoma e telepresença. O trabalho inclui várias contribuições, cada uma voltada para desafios específicos dentro desses domínios. Inicialmente, apresentamos um método inovador de super-resolução fracionária para aprimorar a geometria de nuvens de pontos voxelizadas, elevando a qualidade da compressão com perdas do codificadorGeometry-based Point Cloud Compression (G-PCC), desenvolvido pelo Moving Picture Experts Group (MPEG). Ao explorar auto-similaridades locais, nossa abordagem permite a reconstrução detalhada da geometria a partir de entradas com amostragem reduzida, sem a necessidade de treinamento intensivo, e alcança resultados comparáveis aos obtidos por técnicas baseadas em aprendizado de máquina. A tese também investiga uma abordagem de codificação baseada em zerotrees no contexto doVideobased Dynamic Mesh Coding (V-DMC), desenvolvido pelo MPEG, voltado para meshes dinâmicas com variabilidade temporal. Utilizando uma estrutura hierárquica em árvore, construída a partir das arestas dos triângulos, o método permite codificação escalonável em qualidade e alcança compressão eficiente para sequências de meshes complexas. Por fim, propomos uma estratégia de alocação de bits que considera a importância perceptual de cada ativo tridimensional com base no ponto de vista do usuário. O objetivo é otimizar a distribuição de bits entre múltiplos ativos 3D em aplicações imersivas, priorizando os elementos mais relevantes para a experiência visual. Essa abordagem permite uma otimização do trade-off taxadistorção guiada pela relevância perceptual da perspectiva do observador. Os resultados experimentais demonstram que a estratégia proposta proporciona economias significativas de taxa de bits e melhora a qualidade da experiência do usuário em comparação com a alocação uniforme, sendo sua eficácia dependente da disposição dos ativos na cena e do movimento da câmera. Coletivamente, essas contribuições respondem à crescente demanda por compressão eficiente e de alta qualidade de dados 3D em aplicações imersivas, promovendo o desenvolvimento de soluções adaptáveis e com uso eficiente de recursos para diversos cenários reais.