Técnicas de super-resolução para sistemas de video de múltiplas vistas em resolução mista

Abstract

Sequências de múltiplas vistas emergiram recentemente, gerando uma série de aplicações imersivas, tais como como televisões 3D, telas autoestereoscópicas e televisão de ponto-de-vista livre. Em compensação, surgem considerações técnicas, tais como o aumento das taxas de transmissão e da complexidade computacional, em uma escala muito maior do que grande parte dos sistemas de transmissão atuais está preparada para suportar. Uma alternativa viável para muito sistemas é a codificação em resolução mista, amparada por diversos estudos que indicam que a visão binocular não é afetada quando uma das vistas é mais borrada que a outra. O sistema visual humano compensa a falta de detalhes com os detalhes da outra vista, tornando a visão estéreo subjetivamente muito próxima ao resultado obtido quando não se borra uma das vistas. Em compensação, esta arquitetura não é viável para sistemas de ponto-de-vista livre, pois os usuários podem escolher ver a vista borrada em um dado momento. A presente tese propõe três métodos de super-resolução para sequências de múltiplas vistas em resolução mista, nos quais as vistas em resolução normal são utilizadas para recuperar detalhes de alta frequência nas vistas em tamanho reduzido. Diversos testes com sequências reais e sintéticas, realizados com e sem codificação H.264/AVC, mostram ganhos objetivos de qualidade significativos para os métodos propostos, recuperando detalhes de alta frequência para as vistas em tamanho reduzido. _______________________________________________________________________________________________________________________________ ABSTRACT

Multiview sequences recently emerged, generating a number of immersive applications such as 3D TV, auto-stereoscopic screens ad free-viewpoint TV. On the other hand, several technical considerations emerge, like data-rate and computational-complexitv growth, in a much larger scale than many current transmission systems can bear. A viable alternative is mixed resolution coding, based on studies that indicate that binocular vision is not affected when one of the views is blurrier than the other. The human visual system compensates the lack of details with the details in the other view, making stereo vision subjectively very close to the results obtained when one of the views is not blurred. However, this system is not viable for free-viewpoint systems, as users may choose the blurred view at any given time. The present thesis proposes three super-resolution methods for mixed-resolution multiview sequences, using full-resolution views to recover high- frequency details for the low-resolution views. Several tests with real and synthetic sequences, made with and without 11.20 1 AYC coding, show significant objective quality gains for the proposed method, recovering high-frequency details for the low-resolution views.