Explainable AI : a case study on a Citizen’s Complaint Text Classification Model

Abstract

A sociedade atual é muito influenciada por sistemas de Inteligência Artificial (IA) em diversos contextos e, embora ela tenha proporcionado diversas contribuições, é importante construir uma abordagem transparente e responsável para os modelos de IA, de modo que as pessoas possam se beneficiar de suas vantagens porém sem deixar de prevenir eventuais danos que o uso dessa nova tecnologia possa causar à sociedade. No âmbito da Controladoria-Geral da União, o benefício da IA pode ser observado pelo uso da ferramenta FARO que, além de outras funcionalidades, incorpora um modelo de classificação de textos em denúncias aptas e não-aptas, de modo a auxiliar os auditores na tarefa de tratamento das denúncias feitas pelos cidadãos. Esse modelo recebe como entrada a denúncia de cidadãos sobre situações de corrupção, comportamentos inadequados de servidores públicos, assédio moral etc. A análise dos textos é feita e o modelo gera uma nota que varia entre 0 e 1 sobre a aptidão da denúncia analisada. Para que uma denúncia seja considerada apta, é preciso que ela colecione certos elementos como por exemplo estar relacionada a uma entidade que tenha vínculo com recursos públicos de origem federal, descrever uma irregularidade que reflita dano ao patrimônio público e que contenha uma justificativa mínima para viabilizar investigação da situação relatada. No decorrer do processo de avaliação da denúncia em apta ou não-apta, outras informações relevantes são levantadas e podem ser utilizadas tanto pelo modelo de classificação textual, que faz parte do escopo deste estudo, quando por outras etapas da própria ferramenta FARO. Atualmente, os auditores tem acesso ao resultado gerado pelo modelo mas sem mecanismos de explicabilidade que poderiam aumentar a transparência do processo, aumentar o entendimento do resultado gerado e melhorar o processo decisório da classificação de denúncias. Apesar de não existir uma metodologia ou estrutura ideal para interpretar ou explicar modelos de aprendizado de máquina, é possível encontrar estudos sobre os diferentes métodos de explicabilidade, inclusive sobre as suas limitações na tarefa de explicar totalmente o modelo. Estudos recentes apontam que integrar ferramentas de explicabilidade ao uso de modelos de inteligência artificial traz benefícios ao processo de tomada de decisão e monitoramento do comportamento do modelo, tendo em vista a prevenção de vieses. Entretanto, ainda são poucos os estudos de casos concretos na área de Explainable Ai (XAI), especialmente no que se refere a Natural Processing Language (NLP). O presente estudo tem como objetivo apresentar um sistema de explicabilidade do modelo textual, integrado à própria ferramenta FARO [1] e específica para as necessidades dos auditores, de forma a subsidiar a monitoração do modelo e de seus resultados pelos auditores. O sistema de explicabilidade é baseado na ferramenta LIME (Local Interpretable Model-Agnostic Explanations) devido às suas características, entre outras, de ser agnóstica ao modelo utilizado, à sua implementação intuitiva e compatibilidade com os demais sistemas que já encontram-se em ambiente de produção. Além disso, o LIME apresenta visualizações interessantes que auxiliam os auditores, inclusive aqueles que tenham um menor contato com a área de tecnologia, no entendimento dos resultados gerados pelo modelo de classificação. Desse modo, este trabalho contribui para a monitoração e melhoria do modelo de classificação textual e pode servir como um modelo para trabalhos futuros que investiguem outras etapas utilizadas na ferramenta FARO, como por exemplo o tratamento de dados estruturados.