Uma leitura dos usos da avaliação na administração pública no Brasil a partir da caracterização dos sistemas de avaliação de programas governamentais

Abstract

Esta tese trata dos usos da avaliação de programas na administração pública brasileira. Para tanto buscou-se caracterizar os sistemas de avaliação de programas governamentais, mediante os quais fosse possível identificar, descrever, classificar e explicar como os mecanismos e instrumentos necessários para produzir informações sobre o desempenho e os resultados dos programas e políticas são estruturados e implementados. É por meio dos sistemas de avaliação que o conhecimento avaliativo ganha corpo e passa a retroalimentar, regular e continuamente, os processos decisórios nas organizações. Esse conhecimento, quando utilizado, deve contribuir para o aprendizado e o aperfeiçoamento dos programas e políticas, assim como para a promoção da accountability. Para tanto definiu-se como unidade de análise os órgãos da administração federal direta e realizou-se pesquisa eletrônica com 2062 gestores governamentais de 28 Ministérios. Responderam a pesquisa 750 ocupantes de funções com poder decisório DAS 4 a 6. Os dados foram analisados por meio do Método Multicritério de Apoio à Decisão, abordagem construtivista (MCDA-C), em conjunto com análises descritivas e de conteúdo. Não se trata de uma amostra probabilística, uma vez que se buscou a inferência descritiva e não causal, baseada na percepção de atores relevantes para o objeto investigado. Os resultados demonstraram que apenas nove órgãos desenvolveram capacidade avaliativa para produzir regularmente informações sobre o desempenho e os resultados dos programas. A institucionalização das práticas avaliativas ainda é baixa e a execução dessas atividades é comprometida pelas deficiências na implementação dos programas, como insuficiência de recursos orçamentários e financeiros; carência de pessoal, inadequação da infra-estrutura organizacional e de tecnologia da informação, dentre outras. No entanto, as informações produzidas, muito embora não sejam suficientes para atender regularmente as necessidades dos gestores, são utilizadas para uma multiplicidade de propósitos, principalmente para a promoção da accountability, o aperfeiçoamento dos programas e o aprendizado organizacional. _________________________________________________________________________ ABSTRACT

This thesis focuses on the use of program evaluation by the Brazilian public administration. As such, it tries to characterize the evaluations systems by identifying, describing, classifying and explaining how mechanisms and instruments are used to gather information on performance and programs’ results. It is through evaluation systems that a stream of evaluative knowledge provides feedback for the decision-making processes in organizations. This knowledge, when used, must contribute to learning and improvement of programs and policies as well as to promote accountability. To that extent, the unit of analysis of this study was restricted to agencies of the Brazilian Federal Government, to which a web survey was sent (2062 governmental managers from 28 Ministries). There were 750 respondents, all of whom members with executive positions of decision-making responsibilities DAS 4 to 6. The results were analyzed through a Multi-Criteria Decision Analysis Methodology, a constructivist approach (MCDA-C), along with descriptive and content analysis. This is not a probabilistic sample, since the approach is that of descriptive inference and not causal inference based on the perception of relevant participants of the object of study. The outcomes show that only nine agencies developed evaluative capacity to regularly produce information on the performance and results of public programs. The institutionalization of evaluative practices is still at early stages and the execution of these practices is compromised by the deficiencies in program implementation, such as shortcomings of budgetary and financial resources, lack of personnel, inadequacy of organization infrastructure, information technology, and many others. However, although the information produced may not be sufficient for the regular needs of managers, they are used for a multiplicity of means, mainly for the promotion of accountability, the improvement of programs and the organizational learning.