Deep reinforcement learning applied to power control in D2D communications

Abstract

O rápido avanço da digitalização do mundo, juntamente com as novas aplicações e serviços suportados pelo 5G, trazem a necessidade de se aumentar a eficiência espectral dos sistemas de comunicações móveis. Uma das propostas para atingir este objetivo, e também habilitar diversas aplicações da Indústria 4.0, são as comunicações D2D. Neste trabalho, são apresentados estudos sobre a viabilidade e desempenho de técnicas de aprendizagem por reforço no controle de potência de dispositivos nas comunicações D2D. A fim de obter soluções mais adaptativas, e capazes de aprender com o ambiente em que atuam, optou-se por explorar técnicas de aprendizagem por reforço, que são parte da família de algoritmos de aprendizagem de máquina, e que são capazes de encontrar soluções para diversos problemas utilizando experiências adquiridas, sem a necessidade de uma base de dados anterior ao processo de treinamento. Neste trabalho, exploraram-se duas técnicas de ações discretas, que seguem diferentes paradigmas, e uma técnica de ações contínuas. Para cada uma delas, são discorridas as teorias que as compõem, bem como os processos de decisão markovianos desenvolvidos para a implementação destas. Os desempenhos das soluções são avaliados e comparados entre si, bem como a capacidade de adaptação de cada uma das soluções. Os resultados foram obtidos por meio de um simulador computacional de interferências, desenvolvido ao longo do trabalho. As principais contribuições deste trabalho são as proposições de algoritmos baseados em aprendizagem profunda por reforço para o aumento da eficiência espectral do sistema, juntamente com a satisfação dos requisitos de qualidade de serviço do usuário primário, por meio do controle de potência de transmissão na comunicação D2D no modo inband underlay. Além disso, são feitas diversas análises dos algoritmos propostos, para entendimento do comportamento dessas soluções.