Framework de avaliação da maturidade na gestão de risco de modelo em instituição financeira

Abstract

Em virtude dos avanços da tecnologia e crescimento exponencial dos dados, o desenvolvimento e uso de modelos de analytics e de inteligência artificial (IA) tem se tornado generalizado nas organizações. Paralelo ao aumento quantitativo dos modelos, cresce também a complexidade deles. Embora isso aumente a velocidade da inovação, também aumenta o nível de risco ao qual a organização está exposta, a atenção dos supervisores, bem como a necessidade de controles e governança específica. Nesse contexto, o presente estudo visa propor um método prático de avaliação da maturidade das práticas de gerenciamento do risco de modelo, considerando as principais fontes de risco ao longo do ciclo de vida de modelo e as melhores práticas de mitigação desses riscos. Para que esse estudo fosse possível, recorreu-se à metodologia aplicada por meio de um estudo de caso exploratório, com abordagem qualitativa e quantitativa, utilizando como principal técnica de coleta de dados entrevistas realizadas com cientistas e engenheiros de dados que são especialistas no desenvolvimento de modelos em um Centro de Excelência (CoE) de Analytics e IA de uma instituição financeira brasileira de grande porte. Foi realizado inicialmente revisão da literatura abordando os principais termos, conceitos e práticas relacionadas a modelos, além de levantamento e comparativo dos frameworks de maturidade considerados referência no domínio da gestão de risco e relevantes para o estudo. Com essas informações foi possível desenvolver e validar semanticamente e estatisticamente um instrumento de pesquisa, proposto como framework de maturidade, cuja escala de maturidade associada a uma escala de risco permite a avaliação da maturidade e do risco das práticas da instituição, cobrindo tanto aspectos técnicos quanto aspectos organizacionais. Por fim, o estudo detalha as conclusões e limitações do método desenvolvido, evidenciando nos resultados os pontos fracos a partir de práticas com pontuações mais baixas que podem indicar áreas prioritárias para melhorias, e os pontos fortes a partir de práticas com pontuações mais altas, práticas estas que devem ser mantidas e compartilhadas para promover melhorias na organização. A avaliação contínua da maturidade das práticas de gerenciamento do risco de modelo é crucial para garantir que os níveis de maturidade se mantenham altos e os riscos se mantenham baixos.