Inferência estatística e a prática econômica no Brasil : os (ab)usos dos testes de significância

Abstract

Esta dissertação trata da confusão entre significância estatística e significância econômica nos trabalhos econométricos aplicados. O capítulo teórico resgata alguns tópicos pertinentes ao entendimento da confusão entre significância estatística e significância econômica, expondo as principais diferenças entre os métodos de Fisher, Neyman-Pearson e Bayesianos para testes de hipótese. Além disso, discute-se a ideia do p-valor como medida de evidência e trabalham-se, por fim, as noções de erro real e erro amostral, bem como a distinção entre diferença estatística e diferença substantiva. O capítulo empírico resgata a literatura acerca do tema especificamente para a área da economia, com as evidências verificadas em outros países, como para os Estados Unidos – McCloskey e Ziliak (1996), Ziliak e McCloskey (2004a, 2008a) – ou a Alemanha – Kramer (2011): 70 a 79% dos artigos da American Economic Review nos anos 80 e 90, respectivamente, bem como entre 56 a 85% dos artigos da German Economic Review confundiram significância estatística com significância econômica. Em seguida, quantificamos o problema no Brasil, tomando como amostra todos os 94 artigos publicados na Revista Brasileira de Economia entre 2008 a 2011, dos quais 67 que utilizaram testes de significância foram detidamente analisados. Como principais resultados temos que: 64% dos artigos confundiram significância estatística com significância econômica; mais de 80% dos artigos ignoraram o poder dos testes utilizados; 97% dos artigos não discutiram o nível de significância adotado; 74% não demonstraram preocupação com a especificação ou adequação estatística do modelo; 40% não apresentaram estatísticas descritivas; mais da metade não discutiu o tamanho de seus coeficientes ou a conversa científica em torno da grandeza do parâmetro, entre outros números. _______________________________________________________________________________________ ABSTRACT

This dissertation deals with the confusion between statistical significance and economic significance in applied econometrics. The theoretical chapter brings some topics necessary to the understanding of the confusion between statistical and economic significance, outlining the main differences between Fisherian, Classical and Bayesian methods. In addition, we discuss the interpretation of the p-value as a measure of evidence and the notion of real error versus sampling error as well as the distinction between statistical and substantive difference. The empirical chapter discusses the literature about the subject specifically in economics. We show the evidence found in other countries like the United States - McCloskey and Ziliak (1996), Ziliak and McCloskey (2004a, 2008a) - and Germany - Kramer (2011): 70 and 79% of the papers published in the American Economic Review, in the 80‟s and the 90‟s, respectively, and between 56 to 85% of the papers published in the German economic Review conflate statistical and economic significance. We, then, quantify the problem in Brazil, taking a sample of all 94 papers published in Revista Brasileira de Economia, between 2008 and 2011, and carefully analyzing all 67 that used significance tests. Among other numbers, the main results are: 64% of them confused statistical significance with economic significance; more than 80% ignored the power of the tests; 97% did not discuss the significance level; 74% showed no concern about specification or statistical adequacy; 40% did not present descriptive statistics; more than half did not discuss the size of the coefficients; also more than half did not discuss the scientific conversation within which a coefficient would be judged large or small.