Compression of point clouds attributes

Abstract

As nuvens de pontos ganharam a atenção da comunidade para aplicações em tempo real, como telepresença e navegação autônoma. A Region-Adaptive Hierarchical Transform foi introduzida como um algoritmo de baixa complexidade para a compressão de nuvens de pontos. Ela apresenta um desempenho competitivo com algoritmos de última geração.

No trabalho original, a Region-Adaptive Hierarchical Transform utiliza um codificador arit- mético para codificar entropicamente os coeficientes quantizados. Observamos que o desempenho

do codificador de entropia pode ser melhorado, sem prejudicar a complexidade, através da orde- nação dos coeficientes e usando o codificador Run-Length Golomb-Rice, um algoritmo adaptativo

que adapta seus parâmetros durante o processo de codificação. Foram propostos quatro critérios de ordenação de coeficientes, e observamos que a busca em largura obteve o melhor desempenho. A ordenação proposta aumenta amplamente as sequências de zeros e introduz um decaimento suave no padrão dos coeficientes, melhorando a performance do Run-Length Golomb-Rice. O Moving Picture Experts Group e o Joint Photographic Experts Group iniciaram atividades visando a padronização de tecnologias relacionadas à compressão de nuvem de pontos. Com o objetivo de preservar compatibilidade, é preferível algoritmos baseado em aritmética de ponto fixo ao invés de aritmética de ponto flutuante. Portanto, também propomos uma modificação da

Region-Adaptive Hierarchical Transform, traduzindo suas operações para ponto fixo. A modifi- cação na transformada mostrou pouca divergência em termos de taxa e performance com o algo- ritmo que utiliza ponto flutuante quando a precisão está em 8 bits ou mais. Ambos os algoritmos

são virtualmente idênticos quando a precisão é de 10 bits ou mais. Por motivos práticos, a cada ponto da nuvem de pontos está associado uma única cor junto de outros atributos. O codificador Region-Adaptive Hierarchical Transform foi proposto para point clouds de uma única cor. Este método pode não ser muito realista pois, em objetos reais, a luz refletida pode variar significativamente com o ângulo de vista, especialmente se superfícies especulares estão presentes. Por isso, estamos interessados em uma representação mais completa, a plenoptic point cloud, onde todos os pontos estão associados com as cores em todas as direções. Aqui, propomos um método de compressão para esta representação. Em vez de codificar uma função contínua visto que há apenas um número finito de câmeras, faz sentido comprimir tanto números de cores quanto o número de câmeras e deixar a etapa de interpolação de cor para o decodificador, durante a renderização. Assim, cada voxel está associado a um vetor de valores de cor. Nós desenvolvemos e avaliamos aqui 4 métodos que estendem a Region-Adaptive Hierarchical Transform para englobar o caso multi-cor. Os experimentos com dados sintéticos nos ajudaram a correlacionar especularidade com a compressão, já que a especularidade de um objeto, em um dado ponto no espaço, afeta diretamente a diferença de cor entra as câmeras, impactando no desempenho do codificador. Simulações foram executadas usado dados naturais (capturados) e os resultados são apresenta-

dos como curvas de taxa versus distorção que mostram que a combinação da transformada de Kahunen-Loève e a Region-Adaptive Hierarchical Transform atinge a melhor performance. Na compressão de imagem, pode ser possível que certas partes de uma imagem sejam de maior importância que o restante dela. Assim, também introduzimos a codificação por região de interesse para nuvens de pontos. A qualidade da região de interesse é priorizada em detrimento do restante da imagem. As vantagens de fazer isso são: • O usuário pode ser mais sensível aos artefatos introduzidos na região de interesse do que em qualquer outro lugar. Portanto, priorizar a qualidade da região de interesse pode levar a uma melhor qualidade subjetiva; • Podemos reduzir o número de bits necessários para codificar uma imagem, reduzindo o número de bits gastos para codificar regiões que são de pouco interesse, sem comprometer significativamente a qualidade subjetiva. Propusemos incluir a codificação de região de interesse em nuvens de pontos modificando a transformada. Nós desenvolvemos um algoritmo de detecção de face para nuvens de pontos como um exemplo de caso, uma vez que a atenção dos seres humanos tende a ir para a face, mas o algoritmo proposto é transparente à forma como a região de interesse foi definida. Não realizamos

testes subjetivos para avaliar nossa proposta, mas analisamos o desempenho em termos de taxa- distorção. Observamos que podemos melhorar a qualidade da região de interesse com pouco

impacto na relação entre sinal de pico e ruído de nuvem de pontos.