QUALIS, 
PARA QUE TE QUERO?



Luiz Augusto Campos
Instituto de Estudos Sociais e Políticos
da Universidade do Estado do Rio de Janeiro




Embora desconhecido do grande público, é difícil encontrar algum acadêmico brasileiro que jamais tenha se preocupado com o sistema Qualis-CAPES. Para os iniciantes no mundo da pesquisa científica, trata-se apenas de uma página na internet onde é possível consultar a avaliação de milhares de periódicos nacionais e internacionais segundo as 49 áreas disciplinares registradas na CAPES.[1] Mas para um grupo menor de pós-graduados, o Qualis hoje é muito mais. Ele indiretamente fornece critérios para a seleção de professores universitários, bem como para a progressão funcional e salarial (movimento que, aliás, começou em ciências naturais). Para os programas de pós-graduação, ele funciona como base para a distribuição de recursos por parte das agências de fomento e das próprias universidades, que cada vez mais utilizam a produção em artigos como critério distributivo. Até mesmo o fazer científico cotidiano foi influenciado pelo sistema, pois seu ranking influência o prestígio dos periódicos científicos, orientando os levantamentos bibliográficos e a produção mesma de conhecimento. Ademais, há uma expansão do sistema para outras produções acadêmicas como livros, relatórios técnicos e até mesmo produções visuais e artísticas. Trata-se, portanto, de um dos pilares da política cientifica brasileira tal como ela se organiza hoje.

Assim, não surpreende que as mudanças no sistema em discussão na CAPES gerem tanta controvérsia. Ao que parece, o ranqueamento dos periódicos acadêmicos levará em conta dois critérios fundamentais: área disciplinar ou área mãe, definida pela área de credenciamento dos docentes que mais publicaram no respetivo periódico, e alguma métrica de impacto por citações (fator de impacto, SJR, índice “h” do Google Scholar etc.). Tal mudança rompe com os procedimentos tradicionais, em que as comissões das áreas disciplinares hierarquizavam uma infinidade de periódicos com base em múltiplas métricas de impacto, mas também levando em conta um sem número de critérios mais qualitativos e subjetivos como prestígio.

Avaliar essas mudanças depende de uma série de fatores. Em primeiro lugar, é preciso entender o que é e, sobretudo, o que não é o Qualis. Sua idiossincrática origem fez com que o sistema assumisse funções concretas para as quais não foi planejado, algo que não gerou apenas contradições, mas também avanços na estruturação da ciência nacional. Em segundo lugar, a avaliação do Qualis depende de uma compreensão dos objetivos estratégicos da política científica brasileira, perdidos sob o mantra de que o sistema não pretende fazer o que faz: hierarquizar a produção bibliográfica das diversas disciplinas científicas. Em terceiro lugar, cabe repensar o Qualis para além dos seus objetivos nomeados, seja no sentido de um sistema de avaliação mais estratégico e processual, seja para a superação mesma dele. As seções que se seguem desenvolvem esses três momentos do argumento.

O que é (ou não) o Qualis?

Para avaliar as mudanças aventadas no sistema de avaliação da pós-graduação brasileira, é preciso considerar o que é o Qualis, ou melhor, o que ele não é. Aliás, é digno de nota que os idealizadores e operadores do sistema se dediquem mais a escrever sobre o que ele não é do que sobre suas funções precípuas. Em um artigo obrigatório para qualquer colega que passou perto do sistema de avaliação da pós-graduação, a ex-diretora de avaliação da CAPES, Rita Barata, afirma:

Saber o que o Qualis não é parece tão importante quanto saber o que ele é, pois muitos dos usos inadequados e das incompreensões em torno dessa ferramenta resultam justamente da pouca compreensão sobre esse ponto. O Qualis não é uma base de indexação de periódicos – este é o ponto que provavelmente gera maior confusão entre os editores científicos e é fonte de inúmeras consultas aos coordenadores de área. […] O Qualis Periódicos não é uma classificação absoluta, estando sujeita a revisão permanente. Tendo em vista que a classificação é sempre feita a posteriori, conforme será detalhado em outro item, não é aconselhável que a lista sirva de referência para ações futuras, tais como a escolha de periódicos para submissão de artigos. […] Finalmente, o Qualis Periódicos não é uma ferramenta que possa ser utilizada em avaliações do desempenho científico individual de pesquisadores, visto que não foi desenvolvido com essa finalidade (Barata 2016).

O excerto acima resume não apenas algumas características do sistema, mas também suas principais ambivalências. Em primeiro lugar, ele reconhece que as confusões relativas a sua função são tantas que, para defini-lo, é preciso antes dizer o que ele não é. Em segundo lugar, o texto destaca três formas de se utilizar o Qualis que, apesar de “equivocadas”, abundam na academia brasileira. Embora não seja uma base de indexação de periódicos, pois baseia-se em outros repositórios previamente construídos, o Qualis é lido erroneamente como um indexador. Embora seja uma classificação realizada a posteriori, o Qualis vem orientando equivocamente as escolhas que fazemos dos periódicos em que tentamos publicar. E embora tenha sido cunhado para a avaliação coletiva da pós-graduação, o Qualis é crescentemente usado para avaliar o desempenho individual dos pesquisadores e pesquisadoras.

Como resultado, estamos diante de um aparato de gestão pública cujos efeitos contrariam seus objetivos planejados. Até aí, nenhum problema novo: é próprio das políticas públicas produzirem efeitos não intencionais, para o bem e para o mal (Peters et alli, 2013). Mas no caso do sistema Qualis-CAPES, tais consequências sequer são reconhecidas como efetivas pelos gestores do sistema, sendo rotineiramente rotuladas como “erros de interpretação” ou “equívocos comuns”. Em vez de serem encaradas como reais, suas consequências concretas são classificadas como desvios que convém ignorar.

Criado há mais de duas décadas, a classificação dos periódicos na escala Qualis tinha como objetivo auxiliar a avaliação dos cursos de pós-graduação no Brasil. Como agência dedicada ao aperfeiçoamento dos recursos humanos de nível superior, a CAPES sempre teve como uma de suas funções prementes a avaliação desses cursos e de seus formandos. A expansão e complexificação dos programas de pós levou a agência a propor em 1998 um pré-ranqueamento de revistas, o qual serviria de parâmetro para avaliação dos programas em si. Como artigos acadêmicos costumam passar pela avaliação cega por pares antes de serem publicados, os periódicos científicos foram escolhidos como um dos principais meios para a aferição da produtividade dos programas de pós e, consequentemente, da formação de seus doutorandos e mestrandos.

Este detalhe é importante por dois motivos. Primeiro, o Qualis não foi propriamente pensado como ferramenta de avaliação da ciência, embora tenha sido incorporado por diversas agências de fomento científicos e efetivamente impactado na organização da ciência nacional. Segundo, o Qualis foi originalmente pensado – e continua o sendo – como uma ferramenta auxiliar para avaliação coletiva dos cursos ofertados pelos programas de pós-graduação no país. Daí as insatisfações de muitos dos idealizadores e gestores do sistema com seu uso para a hierarquização de pesquisadores e distribuição de recursos, algo de fato alheio as suas premissas formais.

Porém, cientistas sociais costumam saber que mesmo quando os indivíduos definem uma dada situação ou instituição de modo equivocado, tal situação/instituição pode ter efeitos reais e concretos em nossas vidas.[2] Se as pessoas acreditam nas bruxas, importa menos para cientistas sociais a validade da crença do que o modo como ela impacta nos comportamentos dos crentes. Logo, negar as consequências concretas do Qualis ou rotulá-las como equívocos e desvios não apenas nos cega para os resultados efetivos da política, como também restringe sua crítica e reformulação.

Dito de outro modo, o fato de o sistema não “funcionar” de acordo com suas pretensões originais não implica que ele “não funcione” de modo algum. Ademais, se a política de fomento à ciência no Brasil atingiu alguns sucessos nas últimas duas décadas, o Qualis teve participação nisso tanto pelos seus efeitos intencionais quanto pelas suas consequências não premeditadas. Graças a ele, por exemplo, publicações estritamente científicas ganharam importância no país, em total consonância com tendências globais consolidadas. Ainda que não intencionalmente, o Qualis fortaleceu e uniformizou as práticas do pulverizado mundo editorial brasileiro, difundindo a revisão cega por pares e orientando de modo simples as escolhas dos pesquisadores. O Qualis também é parte de uma infraestrutura de fomento à ciência que se tornou mais transparente por dispor de uma métrica nacional acessível, capaz de reduzir o subjetivismo e a arbitrariedade na escolha daqueles que competem por financiamento de pesquisa e postos de trabalho.

Sendo assim, o Qualis agiu e age como um meta-indexador[3] da produção acadêmica brasileira, não no sentido de repositório de artigos, mas no sentido de métrica para hierarquização de revistas disponíveis em outros repositórios. Embora ele não tenha sido formulado com este fim, seu efeito prático é hierarquizar periódicos, tornando-os efetivamente mais atraentes para acadêmicos brasileiros em busca de recursos e oportunidades de pesquisa e profissionais. Ao buscar avaliar instituições coletivas, o Qualis criou incentivos para que essas instituições avaliem seus membros segundo suas métricas. O Qualis também contribuiu para colocar o país no radar dos grandes conglomerados editoriais internacionais. O Brasil hoje é o décimo país do mundo em produção de artigos acadêmicos e o português é a terceira língua do mundo no ranking de impacto do Google Scholar, atrás apenas do inglês e do russo. Aliado a outra iniciativas como o SciELO, o Qualis fomentou e organizou um ecossistema editorial comparável ao de potências científicas globais.

Isso não quer dizer que o sistema não tenha problemas e contradições. Na próxima seção, discuto alguns dos problemas de concepção das avaliações feitas até aqui e das novas regras colocadas no horizonte.

Com, contra e para além do Qualis

As rotinas de avaliação da CAPES nem sempre foram transparentes e objetivas, não apenas porque nebulosamente registrados nos respectivos documentos de área, mas também pela excessiva complexificação do sistema. Como destacam Peters et alli (2013), a complexificação dos mecanismos de operação de uma política pública é quase sempre vista como forma de prover os seus atingidos de mais informações e opções, mas podem ter como resultado a abertura de brechas, multiplicação das contradições internas e distanciamento dos beneficiários. Nesse sentido, a uniformização do emprego de métricas de impacto pelas áreas e a redução da autonomia de seus coordenadores em modificar tais rankings podem significar avanços. Por outro lado, é preciso lembrar que muitos desses índices não foram pensados nem para a hierarquização do impacto das revistas, nem para o impacto dos pesquisadores. O índice h do Google Scholar, por exemplo, tende a privilegiar revistas e áreas que publicam uma maior quantidade absoluta de artigos, tendência oposta ao Fator de Impacto da Web of Science.[4] Ademais, todos eles são fortemente modulados pelos periódicos efetivamente incluídos nas plataformas de indexação as quais estão ligadas. Em artigo recente, Viviana Martinovich (2020) mostra que o fator de impacto médio das revistas de um país tende a acompanhar a presença de periódicos daquele país nesses indexadores. A explicação beira o óbvio: quanto mais revistas de um país numa base de indexação, maior o volume de artigos citados daquele país, logo, maior seu fator impacto.

Outro problema é o modo razoavelmente estreito com que se tem pensado a internacionalização da ciência brasileira, sobretudo das ciências humanas e sociais. Ao não distinguir periódicos nacionais e internacionais, crê-se estar incentivando as revistas e os cientistas brasileiros a se aproximar dos padrões internacionais de publicação. Mas isso não é propriamente verdade. Primeiro, porque a gigantesca maioria das revistas internacionais não obedece às boas práticas exigidas pela própria CAPES. Muitas publicam basicamente autores de seus países e sequer utilizam o sistema de revisão por pares. Segundo, porque é preciso decidir qual tipo de internacionalizado desejamos. Países como o Chile e a Colômbia, por exemplo, optaram por recompensar a publicação de seus cientistas em periódicos estrangeiros, o que praticamente inviabilizou grande parte das revistas locais. Além disso, essa estratégia vem sendo colocada em xeque em tempos de pandemia. A China, por exemplo, retomou seus investimentos em revistas epidemiológicas locais porque elas comunicavam com mais celeridade as descobertas feitas sobre o coronavírus do que os grandes periódicos internacionais .[5]

Mesmo que ainda pequeno nas ciências sociais, o grau de internacionalização da produção brasileira vem crescendo de modo linear e consistente, como indica o gráfico a seguir. Isso ocorre tanto pela internacionalização de nossos cientistas, como também das nossas revistas e do ecossistema editorial como um todo. Colocar estas últimas para competir com o rico e capitalista mercado editorial internacional pode levar ao fim do robusto ecossistema editorial científico nacional e minar os próprios investimentos em internacionalização. Mesmo porque as temáticas estratégicas de interesse nacional não necessariamente condizem com aquelas valorizadas pelo ecossistema editorial internacional.

Fonte: Elaboração própria a partir de dados das plataformas Sucupira e Lattes.

Por outro lado, é preciso considerar os padrões de citação das humanidades em geral e das ciências sociais em específico. Textos de brasileiros publicados em periódicos internacionais costumam ter impactos menores que aqueles publicados em português. Embora alguns dados sobre isso ainda estejam sendo processados pelo Observatório das Ciências Sociais[6], tudo sugere que o que mais impacta nos debates científicos nacionais são (1) os textos mais antigos e canônicos de autores estrangeiros e (2) os textos de nacionais publicados em português. Logo, o fomento à internacionalização não pode ignorar que existe um robusto ecossistema editorial-científico brasileiro.

É preciso considerar isso para pôr em perspectiva os incentivos à internacionalização de nossa produção bibliográfica. Nosso impacto internacional é baixo em algumas áreas não apenas por questões de mérito ou barreiras linguísticas, mas sobretudo porque nossas revistas não são indexadas nas grandes bases internacionais. Note-se que a maior parte delas é ligada a editoras comerciais, que dispensam critérios formais e estáveis para a incorporação de periódicos.

Outro dado importante é que o Qualis é parte de uma política de avaliação e fomento eminentemente nacional. Portanto, o sistema tem de pensar na proporcionalidade dos efeitos de suas novas normas na estratégia de desenvolvimento científico local. No momento em que ele mimetiza automaticamente métricas internacionais, calculadas com outros objetivos e a partir de bases formadas arbitrariamente, sua razão fundamental pode ser colocada em xeque. Dito de outro modo, se a pressão é para que se replique e incorpore métricas de impacto internacionais, por que não apenas recomendar a utilização dessas métricas pelas agências de fomento diretamente, sem a intermediação de um meta-indexador como o Qualis? Como já foi dito, a utilização objetiva e transparente de métricas de impacto pode ser positiva, desde que tais números sejam empregados e recalculados à luz das metas e objetivos estratégicos do fomento científico no Brasil, bem como mediados pelas condições existentes em cada uma das áreas. Do contrário, mais do que fomentar a formação acadêmica brasileira, o sistema Qualis pode extinguir fundamentos básicos de sua infraestrutura.

Conclusões (possíveis)

O Qualis-CAPES deve ser lido como parte de um sistema mais amplo de fortalecimento da infraestrutura de Ciência e Tecnologia brasileira, focado mais em induzir avanços do que em avaliar campos nacionais de modo estanque. É no mínimo contraditório que, sob o pretexto da internacionalização, o sistema corra o risco de implodir as conquistas logradas até aqui. É verdade que muitas áreas científicas no Brasil se internacionalizaram ao ponto de não dependerem das revistas nacionais. Nesses casos, o grosso das publicações de ponta ocorre em periódicos estrangeiros. No entanto, esse resultado não pode ser desconectado de uma política mais ampla de internacionalização que passou por estágios intermediários de fomento às áreas a partir de interesses nacionais.

Durante muitas décadas, o estudo das chamadas doenças tropicais ou de gêneros alimentícios locais soavam para os periódicos acadêmicos estrangeiros como particularidades brasileiras ou terceiro-mundistas, de pouco ou nenhum interesse científico geral. Foi em parte pelo conhecimento acumulado nessas áreas nacionais que periódicos e contextos acadêmicos estrangeiros passaram a se interessar na publicação de artigos brasileiros, o que hoje garante espaço cativo nelas para a produção nacional. O mesmo vale para as ciências humanas. Para além das barreiras linguísticas, é preciso considerar estratégias específicas de internacionalização temática e/ou disciplinar. Uma visão processual do Qualis deve servir para destacar a importância da sua manutenção como sistema de avaliação parcialmente autônomo e parcialmente atrelado aos critérios internacionais hegemônicos. Mas isso não nos deve cegar para o fim último desse processo: uma comunicação científica mais dinâmica, ampla e igualitária, objetivos que, no limite, poderão tornar o padrão Qualis desnecessário no médio prazo.

Não se está argumentando aqui que as fronteiras de nossa ciência devem corresponder ao território brasileiro, ao contrário: a internacionalização é um ditame urgente da nossa política científica. O problema é que ela não será induzida sem a consciência das diferenças entre as variadas áreas científicas e sem uma visão processual do mundo científico. Para que a CAPES possa realizar sua missão, o sistema Qualis deve ser compreendido não como um instrumento de hierarquização das revistas nacionais e internacionais, mas sim como um indutor da ciência brasileira.

Referências bibliográficas

BARRADAS BARATA, Rita. 2016. “Dez coisas que você deveria saber sobre o Qualis”. Revista Brasileira de Pós-Graduação 13(30). Disponível em: http://ojs.rbpg.capes.gov.br/index.php/rbpg/article/view/947. Acessado em: 24 de novembro de 2020.

THOMAS, William; THOMAS, Dorothy. 1928. The child in America: Behavior problems and programs. New York: Knopf.

PETERS, Ellen; KLEIN, William; KAUFMAN, Annette; MEILLEUR, Louise; DIXON, Anna. 2013. “More Is Not Always Better: Intuitions About Effective Public Policy Can Lead to Unintended Consequences”. Social Issues and Policy Review 7(1). Disponível em: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3758756/. Acessado em: 30 de novembro de 2020.

MARTINOVICH, Viviana. Indicadores de Citação e Relevância Científica: Genealogia de uma Representação. Dados, v.63, n.2, e20190094, 2020. Link: http://dx.doi.org/10.1590/001152582020218.


[1] A lista completa de áreas pode ser consultada aqui: http://uab.capes.gov.br/avaliacao/sobre-as-areas-de-avaliacao.

[2] Na linguagem sociológica, esta é uma referência à chamada “Teorema de Thomas” em referência ao sociólogo William Thomas, segundo a qual “Pouco importa se a interpretação de uma situação é correta ou não, se os homens definem situação como reais, elas são reais em suas consequências.“ (Thomas e Thomas 1928).

[3] No jargão cientométrico, o termo indexação é usado para se referir aos repositórios de resumos ou artigos, autores, revistas etc. e aos índices métricos que eles utilizam para hierarquizar esses artigos, autores, revistas etc.

[4] A maioria das métricas de impacto foi criada para avaliar periódicos acadêmicos e, por isso, costumam dividir a soma de citações (modulada ou não) pelo número de artigos totais publicados nessas revistas. Isso é feito para evitar que as revistas aumentem exponencialmente o número de artigos que publicam de modo a manipular os índices. Já o h5 do Google Scholar foi criado para medir o impacto de acadêmicos e, por isso, não considera o número total de artigos publicados, nem pelas revistas, nem pelos autores. Sua operação é simples: um autor ou revista terá o impacto h se um número h de artigos for citado por h textos nos últimos cinco anos. Logo, um autor ou revista com h5 de 20 tem 20 artigos com mais de 20 citações e assim por diante.

[5] Mais informações no link: https://blogs.lse.ac.uk/impactofsocialsciences/2020/03/05/the-coronavirus-covid-19-outbreak-highlights-serious-deficiencies-in-scholarly-communication/.

[6] Mais informações em http://ocs.iesp.uerj.br