Avaliação da efetividade de programa por meio de modelo lógico : um estudo da reunião pública da diretoria da Agência Nacional de Energia Elétrica (Aneel)

Abstract

Na administração pública brasileira, praticamente não há a preocupação de se avaliar programas públicos, em geral, e programas sociais, em particular, em especial por meio da técnica de modelos lógicos. Nesse contexto, esta pesquisa teve o objetivo de investigar evidências de efetividade da Reunião Pública da diretoria da Agência Nacional de Energia Elétrica (Aneel), por meio da técnica de modelos lógicos, sob a ótica de stakeholders. Quanto à abordagem metodológica, este estudo teve natureza empírica, exploratória, com delineamento descritivo, abordagem qualitativa e quantitativa, recorte temporal transversal, realizada por meio de amostragem não probabilística. A pesquisa incluiu diversas etapas, de acordo com o que recomenda a literatura que orientou a construção do modelo lógico em tela, como: problematização, por meio de Árvore de problema, descrição dos componentes do programa, representações gráficas do modelo lógico adotado, investigação de relações de causalidade entre os componentes e os resultados obtido pelo processo. A coleta dos dados se deu por meio de análises documentais, (12) entrevistas (individuais e coletiva, em forma de grupo focal) e aplicação de questionário quali-quantitativo (survey, n = 93). Em termos de resultados, foi possível conceber um modelo lógico customizado da reunião pública da diretoria da Aneel, especificando os seus componentes e permitindo investigar indícios de efetividade da reunião em termos do alcance seus resultados e impactos esperados sob a ótica de stakeholders. Para fins ilustrativos, os dados indicaram 7 categorias de impactos esperados do programa avaliado: acessibilidade às decisões da Aneel; credibilidade da atuação da Aneel; mediação, participação dos interessados; publicidade; redução da judicialização das decisões da Aneel; e transparência. Se verificou empiricamente, por exemplo, que Transparência e Publicidade, são impactos percebidos pelos stakeholders do programa, o que se torna uma das evidências de efetividade do programa avaliado. Ao final, os limites da pesquisa são apresentados e uma agenda de pesquisas futuras é proposta.