Deep Reinforcement Learning e Hiper-Heurística aplicados à alocação de recursos em sistemas de comunicações 6G com comunicações D2D e sensoreamento

Abstract

Este trabalho propõe uma estratégia para a realização conjunta da alocação de espectro e do controle de potências em sistemas de comunicações móveis de 5G e gerações futuras com sensoreamento integrado. A aplicação tratada neste trabalho se situa em um contexto relacionado à Indústria 4.0, abarcando um cenário industrial com comunicações primárias, comunicações D2D e sensores. A solução proposta para realizar a alocação de recursos no uplink desse sistema é composta pela conjunção de duas técnicas no estado da arte: algoritmos de Deep Reinforcement Learning (DRL) e Hiper-Heurísticas (HH). O primeiro algoritmo que forma a estratégia conjunta proposta neste trabalho foi desenvolvido utilizando-se redes neurais treinadas por meio de técnicas de DRL para controle de potências. O segundo algoritmo, que completa a estratégia proposta, foi desenvolvido através de técnicas relacionadas à aplicação de HHs em conjunção com algoritmos de DRL, para realização da alocação do espectro disponível. A estratégia conjunta teve como objetivos principais: proteger as comunicações primárias, almejando-se reduzir a taxa de outage para garantia de uma comunicação de qualidade, além de proteger os sensores do sistema, objetivando-se reduzir a taxa de outage dos sensores para garantir que a probabilidade de detecção estivesse acima de um limiar pré definido. Como objetivo secundário, o algoritmo proposto buscou maximizar a taxa de transmissão das comunicações D2D. Os resultados mostraram que o algoritmo de controle de potências que obteve o melhor desempenho, em comparação com outros algoritmos da área no estado da arte, foi o Proximal Policy Optimization (PPO). Esse algoritmo proposto, separadamente ao de alocação do espectro, foi capaz, em um Resource Block (RB), de reduzir a taxa de outage das comunicações primárias de 64.35% para 11.75%, reduzir a taxa de outage dos sensores de 38.5% para 4.4% e aumentar a SNIR das comunicações D2Ds de -25.6 dB para -7.5 dB, se comparado com os resultados obtidos por um algoritmo aleatório. Para a estratégia completa, isto é, com algoritmos de DRL e HH realizando tanto o controle de potências quanto a alocação do espectro, os resultados indicaram que, em comparação com uma alocação de recursos baseada em escolhas aleatórias, a estratégia conjunta foi capaz de reduzir a taxa de outage das comunicações primárias de 65.8% para 13.3%, reduzir a taxa de outage dos sensores de 48.1% para 3.3% e aumentar a SNIR das comunicações D2Ds de -24.3 dB para -11.2 dB em sistemas com múltiplos RBs. Além disso, o algoritmo se mostrou escalável para sistemas com diferentes quantidades de comunicações, sensores e RBs, sendo aplicável em diferentes configurações do sistema.