Métricas da produção científica

labjor
http://www.comciencia.br/comciencia/handler.php?section=8&edicao=111&id=1336

Reportagem
Métricas da produção científica
Por Chris Bueno 10/03/2015
Medir e analisar a produção científica e tecnológica, assim como a inovação, não é tarefa fácil mas é importante não só para compreender a dinâmica dessa atividade complexa e multifacetada, mas também para definir políticas públicas e tomar decisões no setor. Neste cenário, os indicadores de produção de ciência, tecnologia (C&T) e de inovaçãotêm um importante papel tanto para ajudar a compreender a estrutura, evolução e conexões desse campo, como também para avaliar o desenvolvimento tecnológico, econômico e social. Por isso, eles são usados como instrumentos para definição de diretrizes, alocação de recursos, formulação e avaliação de programas. Para tentar medir a produção científica de uma instituição de ensino, um centro de pesquisa, ou mesmo de um país, a principal variável analisada é o total de artigos publicados em revistas indexadas (ou seja, aquelas que fazem parte de uma base de dados e possuem corpo editorial e revisores especializados que qualificam e credenciam os artigos para a publicação). No caso da inovação, o número de patentes depositadas é o principal termômetro. E para analisar o quanto uma pesquisa é relevante, avalia-se o número de vezes que o estudo foi citado por outros cientistas em todo o mundo, ou seja, o impacto da produção científica. Mas, se por um lado há consenso sobre a importância dos indicadores e da adoção de algum tipo de avaliação da produtividade científica, por outro há grande controvérsia sobre como essa avaliação deve ser feita. Atualmente, avalia-se a produção científica baseando-se em indicadores que fornecem evidências, principalmente quantitativas, sobre o número de publicações científicas e seu alcance ou impacto. No entanto, esses indicadores – produzidos num contexto geográfico específico ou numa determinada área temática – muitas vezes são utilizados de maneira generalizada, sem considerar suas limitações e especificidades. E é aí que surgem as críticas a esse modelo. Muitas diferenças Um dos problemas acarretados pelo uso generalizado desses indicadores é que eles avaliam áreas muito diferentes com os mesmos critérios. Além de não considerar as especificidades de cada campo da ciência, isso acaba levando a uma comparação entre as diversas áreas e subáreas. Mais do que isso, é comum buscar-se uma hierarquização entre os diversos campos da ciência considerando-se que os fatores de impacto de periódicos ou o número de citações por artigo é maior em um do que no outro. “A ciência desde séculos se organiza em diferentes áreas, nada mais natural do que avaliar cada área em seu contexto”, aponta o estatístico Rogério Mugnaini, professor do Departamento de Biblioteconomia e Documentação da Escola de Comunicações e Artes (ECA) da USP. E continua: “Eu me pergunto: qual seria a razão de se querer fazer comparação entre áreas? Será que comparar um ‘modelo de racionamento de água em cidades populosas’ com um ‘novo método de cirurgia a laser’ tem sentido? Ou, teria sentido hierarquizá-los, uma vez que cada um tem sua importância relativa?”. Além disso, diferentes áreas possuem diferentes preferências para divulgar seu trabalho. Ou seja, as áreas de ciências exatas e biológicas têm uma publicação proeminente de artigos científicos, enquanto as áreas de ciências humanas e sociais têm uma grande produção de livros. Tentar avaliar essas áreas com os mesmos parâmetros torna-se complicado, ainda mais porque os livros não possuem fator de impacto, por exemplo. Não só os veículos são diferentes, como o tempo das pesquisas também. Algumas pesquisas levam muito tempo para obter resultados (pela natureza do problema tratado) enquanto outras vão obtendo resultados parciais ao longo de seu desenvolvimento. “É extremamente difícil fazer qualquer tipo de comparação, em especial nos projetos em andamento. A avaliação de um projeto em andamento exigiria, idealmente, a participação de diferentes especialistas no assunto que acompanhassem cada etapa do projeto. Porém, mesmo desta forma, comparar o desempenho deste projeto com outro de uma área totalmente diferente ainda seria um problema”, afirma Luciano Digiampietri, professor de sistemas de informação na Escola de Artes, Ciências e Humanidades (EACH) da USP. Quantidade ou qualidade? Outra questão levantada por cientistas e especialistas em cientometria é que indicadores tradicionais, que medem a quantidade e o alcance da produção em C&T, muitas vezes são usados também para medir a qualidade. E usar apenas, ou principalmente, meios quantitativos para avaliar a qualidade da produção científica é no mínimo problemático. “O fator de impacto, por exemplo, oferece uma medida da visibilidade alcançada por uma revista específica. Porém, muitas vezes, um alto fator de impacto de uma publicação é considerado sinônimo de alta qualidade científica”, o que nem sempre condiz com a realidade, alerta a jornalista Ana Victoria Pérez Rodríguez, pesquisadora do Instituto de Estudos da Ciência e Tecnologia da Universidade de Salamanca. Vários índices vêm sendo amplamente utilizados para tentar adicionar qualidade à avaliação. Mas, como aponta Digiampietri, é preciso cautela. “De um modo geral, esses índices foram feitos para auxiliar os pesquisadores na identificação das ‘melhores’ revistas de uma dada área. Aplicar o índice de uma revista diretamente como fator de avaliação de um pesquisador (que publicou nessa revista) pode ser algo questionável”. América Latina Os países da América Latina ainda encontram mais dificuldades nesse processo. Isso porque os periódicos científicos latino-americanos tendem a apresentar baixos fatores de impacto, pois são poucos os que conseguem cumprir todos os requisitos solicitados para serem indexados nas bases internacionais. Os motivos para isso são diversos: a preferência dos pesquisadores latino-americanos em publicarem seus trabalhos em periódicos norte-americanos ou europeus e o baixo índice de citação de pesquisadores latino-americanos por colegas de seu próprio país são os principais. O idioma também é uma barreira que deve ser levada em consideração, visto que os periódicos de maior prestígio são publicados em inglês. “Eu diria que fazer qualquer avaliação exige, primordialmente, acesso aos dados. Por essa razão temos o primeiro problema: a produção brasileira é pouco representada nas bases de maior reconhecimento internacional”, aponta Mugnaini. “O caminho que venho trilhando é no sentido de separar indicadores nacionais de internacionais. A produção brasileira tem importância relativa em cada um desses contextos: um exemplo de alto impacto nacional é a área de saúde coletiva, enquanto que no outro extremo temos a física e a astronomia. O contexto nacional precisa ser considerado, e para isso fontes de informação nacionais precisam ser utilizadas”, termina. Novo cenário, novo desafio As novas tecnologias de informação e comunicação baseadas na internet apontam para outras possibilidades, como o emprego de blogs e redes sociais – como Research Gate e Academia.edu, por exemplo – para veiculação da produção científica e que dispõem de um conjunto de ferramentas que possibilita um relacionamento mais direto entre pesquisadores. Neste cenário, os indicadores tradicionais se tornaram insuficientes para medir a produção científica e seu impacto. Desta forma, postagens e compartilhamentos no Twitter e no Facebook, menções em blogs e na Wikipédia, registros dos acessos e downloads e marcações de favoritos em sites de conteúdo científico tornaram-se novos canais informais que podem oferecer dados valiosos sobre o interesse dos leitores, o uso que fazem das pesquisas e o alcance da produção científica. “As buscas através de base de dados como o Google Scholar e outros repositórios estão revelando que a difusão alcançada por muitos artigos científicos é maior do que a atribuída pelo fator de impacto. Isso se deve fundamentalmente ao fato de que muitos artigos são citados também em revistas não indexadas, como é o caso de muitas publicações universitárias que contam com grande impacto na comunidade científica, especialmente entre os investigadores em formação”, explica Rodriguez. Para medir essas fontes não tradicionais, criou-se um sistema denominado Altmetrics, ou Altmetria – ou seja, métricas alternativas. Além de medir as novas tecnologias de informação, a Altmetrics possibilita quantificar um tipo diferente de envolvimento do leitor com a literatura científica: salvar um artigo na biblioteca pessoal online, compartilhar o link nas redes sociais, ou ainda postar sobre ele pode indicar o grau de interesse que o artigo despertou. Nesse sentido, essas informações podem contribuir – e muito – com os indicadores tradicionais, ampliando a visão sobre o impacto da produção científica no cenário atual (Leia mais sobre este tema). Impacto social da ciência Mas talvez a crítica mais importante a se fazer aos indicadores tradicionais é que o alto impacto de uma pesquisa não revela sua importância social. Os indicadores tradicionais não conseguem medir como a sociedade se apropria da produção científica, o uso que faz dela, sua participação na C&T. Para medir a cultura científica, são necessários outros instrumentos. Um dos instrumentos mais usados para medir o impacto social da produção científica são os estudos de opinião pública sobre temas relacionados a C&T e a análise de conteúdo da imprensa. A estes, atualmente, estão sendo acrescentadas outras fontes e metodologias de análises relacionadas com a presença de conteúdos na internet e nas redes sociais. Indicadores de cultura científica e da percepção pública da C&T podem contribuir enormemente para avaliar o alcance e o impacto da produção científica e tecnológica na sociedade. Em conjunto com os indicadores tradicionais, podem ampliar o cenário da produção científica e mostrar sua importância social. Mas ainda há um longo caminho a ser trilhado (Saiba mais sobre indicadores de cultura científica). “Os indicadores tradicionais deveriam ser ampliados com novos indicadores culturais que permitam avaliar a extensão e as modalidades de integração da cultura científica na cultura geral da sociedade. Mas, para se chegar a um sistema útil ainda é necessário muito trabalho de esclarecimento conceitual sobre o que é a cultura científica e como medi-la”, explica o filósofo e político Miguel Angel Quintanilla Fisac, professor do Instituto de Estudos da Ciência e Tecnologia da Universidade de Salamanca1. Caminhos Neste cenário, é preciso buscar novos caminhos para avaliar a produção científica e tecnológica e também a inovação. Um primeiro passo seria repensar o uso que tem sido feito dos indicadores tradicionais. O segundo, é buscar novas ferramentas que complementem esses indicadores, permitindo avaliar a qualidade da produção científica, sua disseminação por diferentes meios e seu real impacto na sociedade. Mas esse é um caminho árduo que ainda exigirá muito trabalho. “A organização no estilo ‘industrial’ da ciência que predomina atualmente está pervertendo o sentido da avaliação da ciência”, enfatiza Quintanilla. “Deveríamos reivindicar a volta à prática tradicional da ciência – a avaliação por pares, a discussão aberta – e a volta do ethos da ciência – o comunismo epistêmico, a universalidade, o desinteresse e o ceticismo organizado. Talvez valha a pena tentar construir indicadores representativos desses valores. Porém não é fácil, e está claro que o fator de impacto e seus derivados não cumprem esse papel”.  Nota: 1 Miguel Angel Quintanilla, na Espanha, assim como Carlos Vogt no Brasil, Martin Bauer, no Reino Unido e Carmelo Polino, na Argentina, são alguns dos pesquisadores que junto de suas equipes de trabalho, vêm desenvolvendo pesquisas com o objetivo de construir um conjunto de indicadores capazes de mensurar a cultura científica.