Aprendizagem por reforço aplicada à análise de impacto no controle de fluxo de tráfego aéreo

Abstract

Nos últimos anos, a crescente demanda mundial pelo uso de aeronaves como meio de transporte aumentou consideravelmente a complexidade do gerenciamento de tráfego no cenário aéreo. Para se evitar ou reduzir pontos de congestionamento, os controladores de tráfego aéreo aplicam medidas restritivas às aeronaves em solo ou em ar. Entretanto, além das informações de redução do número de aeronaves em setores específicos, os impactos gerados por estas ações não são verificados. Para auxiliar neste problema, este trabalho apresenta uma solução baseada em técnicas de Inteligência Artificial (Artificial Intelligence - AI) e Aprendizagem por Reforço (Reinforcement Learning - RL), desenvolvida sob a metodologia HCI (Human-Computer Interaction), com aplicação na área de Gerenciamento de Fluxo de Tráfego Aéreo (Air Traffic Flow Management - ATFM). A solução foi modelada como um Sistema de Apoio a Decisão (Decision Support System - DSS), através da construção do Submódulo de Modelagem e Projeção de Impacto (MPI), parte do Módulo de Avaliação e Apoio à Decisão (MAAD), que compõe a integração modular do Sistema de Aplicação e Gerenciamento das Medidas de Controle de Fluxo de Tráfego Aéreo (SISCONFLUX). A arquitetura deste módulo utiliza um agente autônomo que, em situações de congestionamento, fornece sugestões de medidas restritivas aos controladores de tráfego aéreo, focadas no problema da espera em solo (Ground Holding Problem - GHP). O agente adquire conhecimento junto ao ambiente, através do algoritmo QLearning, avaliando a situação do cenário aéreo resultante das medidas restritivas sugeridas e das medidas restritivas aplicadas. A avaliação dos cenários aéreos resultantes é realizada através de uma função que computa dados como o nível de congestionamento, o tempo de atraso imposto sobre as aeronaves, e um índice de impacto financeiro e de eqüidade na distribuição das medidas restritivas. Os resultados utilizam dados de um ambiente real, formados pelo cenário aéreo da Região de Informação de Vôo de Brasília (FIR-BS), gerenciada pelo Primeiro Centro Integrado de Defesa Aérea e Controle de Tráfego Aéreo (CINDACTA I). A análise destes resultados aponta que, fatores como eqüidade e custos financeiros podem ser utilizados em conjunto com dados de congestionamentos, sem ferir normas de segurança, onde o agente aprende a sugerir ações ao controlador humano, que levam em conta o impacto gerado pelas ações tomadas. _________________________________________________________________________________ ABSTRACT

In recent years, the growing worldwide demand for the use of aircraft as a means of transport has considerably increased the complexity of managing air traffic scenario. To avoid or reduce points of air traffic congestion, air traffic controllers apply restrictive measures to aircraft on the ground or air. However, just the information about aircraft congestions are verified. So, the impacts of these actions are not checked. To solve this problem, this project presents a solution based on Artificial Intelligence (AI) and Reinforcement Learning (RL), developed under the methodology HCI (Human-Computer Interaction), with application in Air Traffic Flow Management (ATFM). The solution was modeled as a Decision Support System (DSS) through the construction of Submodule of Modeling and Projection Impact (MPI), part of the Module Evaluation and Decision Support (MAAD), integrated to the Distributed System of Decision Support (SISCONFLUX). The architecture of MAAD uses autonomous agents that in situations of congestion provide suggestions for restrictive measures to controller’s traffic, focused on the Ground Holding Problem (GHP). The agent acquires knowledge from the environment, through the algorithm Q-Learning, assessing the situation of air scenario resulting of the restrictive suggested and the restrictive measures taken. The evaluation of scenario is performed through a function that computes data such as congestion level, time delay imposed to aircrafts, an index of financial impact and fairness in the distribution of the GHP restrictions. The results of simulation were obtained using real data from the air Flight Information Region Brasilia (FIR-BS), with is managed by the First Integrated System of Air Defense and Control (CINDACTA I). The tests show that factors as fairness and financial costs can be used together with congestion data in the evaluating function without affecting the safety factor. In this environment the agent can learn and suggest actions to the air traffic managers and controllers taking account the impact generated by restrictive measures.