sexta-feira, 31 de outubro de 2008

A USP é muito melhor que a UnB ? (II)

................................Atualizado em 01/11/2008, 7 AM
Oi pessoal,
Dando continuidade ao "debate" inicado ontem (relembrar clicando aqui), quando mostramos que a USP produz cerca de 10 vezes mais papers que a UnB, e que estes papers são de 13 vezes mais citados que a UnB.
.
Analizamos os papers produzidos entre 2000 e 2007, e as citações conferidas a estes papers entre 2000 e outubro de 2008. No período a UnB produziu 3084 papers, que foram citados 13,5 mil vezes. A USP produziu 34,1 mil papers, que foram citados 195,1 mil vezes.
.
Entretanto a USP é muito MAIOR que a UnB, seja em número de alunos, professoes e pesquisadores. Como comparar "alhos" com "bogalhos" ? Da mesma forma que é possivel comparar a produção científica do Brasil com a minúscula Islândia. O Brasil produziu 137 mil papers entre 1997 e 2007, enquanto que a Islândia apenas 3964 papers no mesmo período (Hermes-Lima et al, 2008).
.
Logo, a ciência do Brasil seria MUITO melhor que a da Islândia, certo ? (*) Resposta: ERRADO !
.
Os papers do Brasil receberam 5,2 citações neste periodo, enquanto que os papers da ilha gélida 12,5 citações. A relação de citações por paper (CpP), para grandes amostras, é um excelente indicador de qualidade.
.
Vamos agora fazer as contas da UnB e USP ?
.
UnB: papers = 3084; citações = 13467
CpP = 4,4
.
USP: papers = 34140; citações = 195116
CpP = 5,7
.
A tabela mostra os valores de CpP ano a ano, que também está representado do gráfico (abixo)
. O valor de CpP da USP (5,7) é apenas 30% maior que o da UnB. Lembrados que os papers da USP, de 2000 a 2007, são - em média - 13 vezes mais citados? Claro, a USP publica mais (10 vezes mais) e por isso seus papers recebem mais citações (13 vezes mais).
.
Se olharmos a relação de 13X (citações) com 10X (papers) obtemos mais uma vez o valor de 30% a mais para a USP, em relação a UnB. Assim, em termos relativos (e não em termos absolutos) podemos concluir que a USP produz papers com 30% mais visibilidade que os da UnB. Será então que, em termos de produção de papers indexados no Web of Science, a USP é apenas 30% melhor que a UnB ? Essa resposta deixarei para os leitores.
.
*: Assim diria o presidente de um orgão que cuida das PGs no Brasil.
.
MAIS (postado em 01/11/2008)
.
Uma coisa que precisa ficar bem clara: o valor de 30% a mais para a USP (versus a UnB) é relativo ao conjunto de todas as citações dos artigos publicados entre 2000 e 2007. Ao se analizar ano a ano há uma grande flutuação na razão de CpP-USP pela CpP-UnB. Por exemplo, em 2000 esta razão deu 1,18, enquanto que em 2005 foi de 1,54. A figura abaixo mostra os valores ano a ano.
.
.
O que se pode perceber é que os artigos mais recentes da USP (2005 a 2007) receberam bem mais "citações relativas" que os da UnB. Possivelmente, o tema das pesquisas da USP são, em média, mais "quentes" que os da UnB.
.
Porém, é importante ressaltar (**) que artigos que recebem muitas citações meses após sua publicação tendem a "morrer" (em termos de citações) bem mais rapidamente que aqueles que demoram mais a serem recolhecidos e citados.
.
**: Isso é fato muito conhecido dos cientometristas. A maioria dos papers leva de 3 a 7 anos para chegar no pico de citações. Depois tendem a "morrer" em diferentes velocidades. Para saber mais sobre a vida e morte de artigos, clique aqui.

24 comentários:

ricardo medeiros disse...

Prezado MHL,

So' posso discordar que citacoes por paper seja um bom parametro bom para se comparar instituicoes, muito menos paises.
Os teus calculos, pra mim, so' reforcam essa conclusao.
Comparar instituicoes via um numero X e', convenhamos, pra la' de discutivel.
Comparar paises entao nem se fala.
Voce acha mesmo que USP e' apenas "30% melhor" que a UnB, como os teus calculos parecem sugerir ?
Ja' fui aluno e professor da UnB, andei por esse corredores por uns 20 anos, conheco a UnB muito bem.
E por dois anos analisei os projetos da FAPESP, estive na USP muitas vezes, para dar seminarios e discutir projetos de cooperacao, conheco muitos dos campi da USP no interior de Sao Paulo, como os de Piracicaba e Ribeirao.
Na minha opiniao USP e UnB nao sao de modo algum comparaveis.
A USP e' uma universidade de verdade, uma instituicao de pesquisa, ensino e extensao. Uma instituicao que tem um papel real na economia do estado onde ela reside, uma instituicao que gera conhecimento palpavel, uma universidade de onde inumeras pequenas empresas ja nasceram.
A USP e' comparavel com algumas das menores universidades estaduais americanas, o que nao e' pouco coisa. Tudo gracas `a enorme economia de Sao Paulo, 70% da economia brasileira.
E pelo o que eu tenho lido da Univ. Auton. do Mexico, a USP fica bem `a frente.
Coloco a UNICAMP no mesmo nivel, apesar de tao menor.
Em comparacao a UnB e' como uma escola de segundo grau, em termos de recursos e tudo mais, aonde a esmagodora maioria pos professores apenas da' aulas e finge fazer pesquisa, aonde falta papel higienico nos banheiros e giz nas salas de aula.
As vezes parece uma cidadezinha do interior de Honduras, com os idiotas aproveitadores roubando o pouco dinheiro em caixa enquanto todos lutam por "democracia".
Citacoes por paper podem servir como um dos inumeros fatores pra se comparar cientistas, mas instituicoes controem um nome, e nao e' facil construir um nome.
O modelo universitario brasileiro que foi expandido durante os anos da ditadura militar e' extremamente ultrapassado e absurdo.
Primeiro os milicos, muitos deles gauchos, como Medici e Geisel, deram enorme preferencia de recursos para varias universidades do estado deles, dai termos as federais gauchas tao fortes (Porto Alegre, Santa Maria, Pelotas...), so' isso ja' foi vergonhoso, mesmo para os padroes vigentes.
E por cima disso criaram esse elefante branco federal, esse monte de instituicao federal gratuita e qualidade pessima, que serve a menos de 5% da populacao brasileira mas que consume uma fatia enorme de todos os recursos disponiveis para educacao no nosso Brasil.

Ciência Brasil disse...

Ricardo,
Não entrarei no mérito ideológico de sua resposta. Mas o índice CpP é uma forma de normalizar grupos (nações, cidades, universidades) de tamanhos diferentes. Não serve para indivíduos ou Deptos., pois ai o componente de erro (areas com mais ou menos citações médias) fica grande.

Leia meu paper de 2007, da IUBMB Life (*) para poder te dar mais substrato para discussão.

Lógico que a USP é melhor que a UnB. Mas não podemos deixar esquecer qur a USP é tambem MUITO MAIOR que a UnB.

Os pesquisadores da UnB não fazem feio mesmo sem papel higiênico, mesmo com 12 anos de Timothismo.

Em breve irei achar o CpP de outras universidades. O melhor parametro seria o H. Mas não há como se obter ele para universidades que publicam muito... Dai eu teria que pagar extra pelo WoS...

================
*: Hermes-Lima et al. Whither Latin America? Trends and challenges of science in Latin America.IUBMB Life. 2007 Apr-May;59(4-5):199-210.

ricardo medeiros disse...

Marcelo,

Continuo discordando e muito, mesmo apos ler o teu trabalho e de te considerar um entendido no assunto.
Discordo de alguns conceitos. Muito subjetivos.
Mas sobre o teu comentario acima:
Voce diz "logico que a USP e' melhor que a UnB, mas nao podemos esquecer que e' muito maior que a UnB".
Ora, se todos sabemos que a USP e' melhor que a UnB entao a tua metodologia ja' comeca estranha, pois sugere que isso nao seria verdade.
O fato da USP ser muito maior nao pode ser usado como um paliativo a favor da UnB, pois ser muito maior conta positivo pra USP, nao negativo.
Um dos objetivos de uma universidade e' se tornar o maior possivel, oferecer o maior numero de cursos possiveis, mantendo a qualidade, e isso e' o que a USP tem feito, ao contrario da UnB, da UFG, da UFRJ (melhor que as anteriores, mas ainda muito pior que a USP).
Agora quanto aos pesquisadores da UnB nao fazerem feio, "apenas" 30% menos citacoes/paper: sei la', pode ate' ser.
Mas isso nao surpreende, nao vejo ninguem serio dizendo que a UnB e outras sao muito piores porque os pesquisadores sao piores, e quem diz isso nao sabe nada sobre o assunto, na minha opiniao.
Os professores da USP, da UnB, da UFRJ, da UFMG, etc, estao mesmo, na media, no mesmo nivel, alguns otimos, alguns pessimos, alguns inexistentes.
A diferenca nao esta' na qualidade da media dos pesquisadores, nunca esteve; esta' na estrutura da instituicao, esta' no nome que a instituicao conseguiu contruir, esta' no tamanho da instituicao tambem, esta' na organizacao da instituicao, etc.
Entendo perfeitamente que voce tem feito pesquisa seria nessa area, te considero uma autoridade nesse assunto, mas o teu paper nao conseguiu me convencer.
Desculpe, mas me pareceu uma comparacao sem muito sentido, pois ja sabemos quem e' melhor e maior e as causas.
A Unicamp e a UnB por exemplo, tem tamanhos similares, mas a Unicamp e' reconhecida, mesmo fora do Brasil, como uma excelente instituicao, mas e' muito dificil achar alguem que ja ouviu falar da UnB fora do Brasil, muito menos que a considere uma excelente instituicao.
Portanto aqui do meu canto eu lanco essa sugestao: quando nos referimos a instituicoes o que conta mesmo e' o NOME, com toda a sua subjetividade.
Qual e' melhor: Oxford ou Harvard? Berkeley ou Stanford? Acho que estao todas num mesmo patamar (Yale e' muito pequena e elitista para entrar na minha comparacao).
Grande abraco,

Ricardo

ricardo medeiros disse...

Eu falo demais mesmo, sinto; um complemento ao meu comentario acima:

Utilizando um exemplo daqui, por eu conhecer melhor, e um exemplo que eu acho dificil:

Qual e' melhor UC Berkeley ou Univ. Michigan-Ann Arbor ?

Sao parecidissimas em quase tudo, tamanho, tipo de cursos, qualidade media dos cursos de graduacao e pos-graduacao, e nome aqui dentro (Berkeley talvez tenha um prestigio maior fora dos EUA).

Eu diria o seguinte: departamento X e' melhor em Berkeley, departamento Y e' melhor em Ann Arbor, se voce vai fazer graduacao as duas sao iguais, mas se voce vai fazer pos-graduacao deve analisar o nome do corpo docente, um por um.

O mesmo talvez possa ser dito se compararmos as federais de Minas e Rio Grande do Sul, ambas pra mim muito parecidas. Nao sei como que metodologia utilizar para compara-las, a nao ser que seja departamento por departamento.

Paulo Rená da Silva Santarém disse...

E por cima disso criaram esse elefante branco federal, esse monte de instituicao federal gratuita e qualidade pessima, que serve a menos de 5% da populacao brasileira mas que consume uma fatia enorme de todos os recursos disponiveis para educacao no nosso Brasil.

Ricardo, os militares não criaram a UnB. Assista o flme "barra 68".

Qual a porcentagem da população dos EUA que frequenta universidades?

Não se pode esquecee que os recursos para a educação não são lá essas coisas, e que e vez de diminuir os gastos na IFES, precisamos é aumentar no resto do sistema.

ricardo medeiros disse...

Prezado Paulo Rena',

Eu nao disse que os militares criaram a UnB, e, mais uma vez, nao preciso assistir a "Barra 68" pra saber disso.
Voce esta' deturpando os meus comentarios, e por favor, guarde suas sugestoes de leitura e de filmes pra voce, ninguem precisa se inteirar das leituras e filmes que voce julga importantes.
As fontes de conhecimento sao quase infinitas, sua atitude "professoral" so' combinaria se eu fosse ou tivesse sido seu aluno.
Agora, voltando ao assunto original:
Os militares nao criaram a UnB, mas criaram muitas e muitas federais, no Acre, no Amapa, em Santa Maria-RS, em Pelotas-RS, em Passo Fundo-RS, etc; expandiram enormemente o "sistema federal" de universidades, e como todos sabem, nao federalizaram so' o sistema universitario, federalizaram a energia, com a criacao e/ou expansao de Eletrobras, Telebras, etc, alem da construcao de enormes hidroeletricas, todas federais naquela epoca.

Quanto `a porcentagem da populacao dos EUA que frequenta a universidade: nao sei porque voce pergunta pois nao vejo a correlacao entre isso e o assunto que estavamos debatendo, mas va' la':
Menos da metade da populacao (nao lembro o numero exato, mas deve estar em torno de 40%).
Sei que a porcentagem de pessoas com curso universitario completo nos EUA e' de cerca de 30% apenas, o que e' surpresa pra muita gente aqui no norte dos EUA (aonde essa porcentagem aumenta pra cerca de 50%).
O problema e' o sul dos EUA.
Essa e' uma regiao que basicamente nao se recuperou da guerra civil, o nivel educacional e' muito baixo para um pais desenvolvido, a ignorancia e' reinante pros padroes americanos, a pobreza e' muito maior, e consequentemente os republicanos acabam se beneficiando disso tudo (visto que ninguem aqui e' obrigado a votar, e em muitos lugares os pobres acabam nao votando em peso).

E por fim, claro que os recursos para educacao no Brasil sao poucos, acho que nao existe nada tao profundamente claro pra todos no Brasil; mas isso so torna ainda mais absurdo o fato de que a maior parte dos recursos nao deveria ser gasta com universidades federais, das quais apenas uma fatia minuscula da populacao se beneficia.
O que estamos fazendo no Brasil, o campeao mundial da desigualdade social, e' tirar dinheiro do contribuinte, em sua enorme maioria gente pobre, e financiar universidades federais (ironicamente de pessima qualidade) para os filhos da classe media e rica.
Ou seja, e' a distribuicao de renda `as avessas.

José Carlos disse...

Ricardo...
q raiva é essa da UnB??
A como vc sabe que a Unicamp é citada no exterior e a UnB nao eh? Como vc sabe q a USP é infinitamente melhor q a UnB sendo que em 2007 alunos da USP invadiram a reitoria pq os predios dela estava caindo aos pedaços... nao foi? Vc pensa que lah esta é tao bom assim que possa superar tanto a UnB?? Se vc realmente axar isso.. vc nao conhece a universidade que estuda/trabalha, se é que vc tem algum vínculo com a UnB. Onde eu estudo... sempre tem papel higienico, e alem do mais... nunca faltou giz e mto menos pincel atomico.. axo q realmente vc nao conhece a UnB...
NAO FALE COISA QUE VC NAO SABE!

Abraço!

J. Carlos disse...

Haaa.. e esqueci de comentar...
Eu, como aluno de exatas e usando certa credibilidade que tenho, achei esse método de comparação ótimo. Ao passo que ele exclui a discrepancia do tamanho das universidades e utiliza bons dados de comparação..
Parabens Marcelo!!!
P.S: Gostaria muito de ver os CpP de outras universidades!!

Ciência Brasil disse...

Oi pessoal,

Em breve postarei uma comparação da USP com Princeton University, que é uma universidade de médio porte para os padrões americanos.

Princeton publicou 2095 papers em 1998, e a USP publicou 2202 (USP na frente, ok ?)

10 anos depois...

Em 2007 Princeton publicou 2550 papers(pequeno aumento em relação a 1998), enquanto que a USP pulou para 6,6 mil !

E as citações por paper ?
Aguardem !

Felipe Salsicha disse...

Muito legais e interessantes as comparações, Marcelo.

Paulo Rená da Silva Santarém disse...

ninguem precisa se inteirar das leituras e filmes que voce julga importantes

Esse trecho é sinal de uma posturaque inviabiliza não apenas essa conversa, mas qualquer debate futuro. Passar bem.

Natacha Santos disse...

Marcelo,
seria bom fazer a análise sem as auto-citações. Lembrando que as citações têm um viés auto-promocional, e que a USP é muito maior e tem muito mais docentes, talvez se observe que a relação CPP (sem auto-citações) nem seja 30% maior. Pensou nisso? Abraço

ricardo medeiros disse...

Caro Jose' Carlos,

Nao tenho nenhuma raiva da UnB, voces aqui neste blob estao sempre levando o debate pro lado mais simplorio e pessoal possivel. Tenham um pouco mais de senso critico na analise desses assuntos discutidos aqui.
Criticar a UnB nao implica em maneira nenhuma em ter raiva da UnB. As vezes pode ser exatamente o contrario.
Gosto muito da UnB, e' como minha casa, fiu aluno de graducao e pos-graduacao, e professor da UnB ate 2001. E ate' hoje em dia, participo como palestrante convidado de disciplinas da pos-graduacao no IB.
Acho sinceramente que gosto mais da UnB que muita gente por aqui, inclusive voce, Jose' Carlos.
Isso nao me impede, de modo algum, de falar das mazelas da UnB, justamente porque quero que a UnB melhore, quero que a UnB un dia chegue ao nivel da USP.
Que bom que os banheiros que voce frequenta tem papel, num banheiro que foi 2 anos atras nao tinha, e a sala que usei nao tinha giz. A sala ao lado de projetor para computador, bem cara, as salas em volta nao tinham nada.
A UnB nao esta' nem perto das piores universidades federais brasileiras, ja' vi coisas em certos lugares que nao vale nem a pena comentar aqui, mas a UnB tambem nao esta' entre as melhores federais, nem perto.
Sei que USP e a Unicamp sao reconhecidas no exterior porque moro e trabalho nos EUA ha' mais de dez anos, e participo de congresso aqui e na Europa todos os anos e converso portanto com pequisadores de todos os lugares sobre pesquisa no Brasil, etc.
Claro que existem bons cursos na UnB, tanto de graducao como de pos-graducao.
Mas se voce tivesse prestado um pouco mais de atencao nos comentarios que fiz acima perceberia que estavamos discutindo as instituicoes USP e UnB como um todo, nao este ou aquele departamento ou curso.

Ciência Brasil disse...

Natacha

Sua sugestão é muito boa. Mas não sei como obter as citações sem contar as auto-citações. Podes me dar uma aula ?

Ciência Brasil disse...

Recebi este email de uma cientometrista de mão cheia, da UFRJ, Jacqueline Leta. O email foi enviado para toda comunidade de cientometria do Brasil
=============================


Olá Marcelo (e todos)
Já conversamos sobre isso mas vc insiste em usar "QUALIDADE" como sinônimo
de citação. Há muito tempo, todos os "cientometristas" já sabem que isso não
é verdade mas não os "cientometristas-like"!
Existem inúmeros motivos, espcialmente políticos, pessoais e geográficos,
para citar um trabalho e a qualidade é apenas um deles. Continuar insistindo
nesse equívoco conceitual é, no mínimo, querer criar ainda mais barulho em
torno do uso dos indicadores, que podes ser ótimos instrumentos para a
gestão em C&T desde que muito bem compreendidos.
Se você me permite, reforço o que já falei: citação = visibilidade.

Abs,
Jacqueline

José Carlos disse...

Ricardo Medeiros

Sei q nao tem raiva da universidade.. mas foi só uma maneira de experessar aquilo q vc veio falando e de certa forma pondo a universidade que vc mesmo estudou para baixo. Bom em 2006 a UnB ficou em segundo lugar no Brasil juntamente com a Unesp. Creio q voltará a esses patamares depois q tudo na UnB voltar ao normal. Então, me desculpe, mas a meu ver a UnB está sim entre as melhores federais e daqui já sairam grandes nomes e ainda sairão mais. A USP está longe de ser uma maravilha como vc deve achar. Ha.. e eu tenho certeza que conseguiu mta coisa por ter o nome UnB ESTAMPADO NO SEU CURRICULO!


Jose Carlos .

M.F. disse...

Olá a todos,

Para a mesma área do conhecimento e região geográfica (e para as quais o número de citações está disponível em bases de dados seletivas):

Citação (excluindo-se as auto-citações)= Visibilidade= Qualidade da obra + Qualidade da comunicação

Se um cientista tem pesquisas boas mas é pouco citado, certamente está havendo falha de comunicação, que pode se manifestar de diversas formas: publicação em periódicos de baixa circulação, trabalho mal escrito e/ou organizado (por exemplo, inglês sofrível), e repartição do que seria um bom trabalho em vários trabalhos menores e, consequentemente, de qualidade inferior. Tudo isso é fruto do modelo "publish or perish", onde apenas a abordagem quantitativa interessa. E vai continuar assim enquanto os órgãos fomentadores não migrarem para um sistema quali-quantitativo do tipo "publish good stuff or perish".

A visão reducionista de Citação=Visibilidade nivela por baixo os cientistas brasileiros, pois ninguém é citado de forma expressiva por ter olhos azuis. Se tem visibilidade, é porque o cientista fez algo a mais. Ou a qualidade da pesquisa foi superior, ou a qualidade da comunicação foi superior (e publicar numa revista de ponta não é nada trivial!), ou ambos. Fatores subjetivos existem (citações por amigos ou por ex-orientados fidelizados; "esfrega as minhas costas que eu esfrego as suas" - quando, de forma recíproca, o amigo é incluído nas publicações do outro sem ter colaborado ativamente etc...). Entretanto, ninguém tem H-index e número de citações elevados por fatores meramente subjetivos. Vamos valorizar quem teve o mérito de atingir um padrão quali-quantitativo elevado. Para quem ainda não chegou lá, e este é o meu caso, uma análise aprofundada das possíveis razões deve ser feita o quanto antes. Se a pesquisa é boa, focar na qualidade da comunicação deve ser o próximo passo. Mas se a pesquisa não é boa o quanto o sujeito pensa que é, vai ser difícil chegar lá sem um cutucão do vizinho.

abraços
Marcos Faria

Lea Velho disse...

Oi gente,

a Jacqueline está certissima: citacao, como sabem os cientometristas, nao indica qualidade, mas visibilidade. Certo? Quem nao sabe disso? Mas, acontece que se esqueceram (ou nos esquecemos) de dizer isso para os tomadores de decisao em PCT! Assim, se eu recebo x citacoes em 2 anos e meu colega da fisica recebe 3x citacoes, que diriam os tomadores de decisao ao comparar nos dois? que meu colega da fisica eh melhor que eu da Politica Cienttifica (nao diriam que ele eh mais visivel). E nessa declaracao tem 3 erros enormes:
1. usar a citacao para pesquisador individual
2. comparar pesquisadores de areas diferentes
3. fazer equivalencia de citacao com qualidade, e isso eh feito.

Portanto, Jacqueline, nessa area de cienciometria, mais vale como o indicador eh usado do que o que ele, de fato, indica. E no nosso meio, citacao, no imaginario dos tomadores de decisao de plantao, equivale a qualidade, Infelizmente.

Abs gerais,

Lea Velho
(Unicamp)

Ciência Brasil disse...

Recebi na lista de cientometria este email.
=========================

Olá cientometristas

Lendo o comentário da Profa. Lea fico a pensar: será que não podemos mudar a percepção dos ?tomadores de decisão de plantão?, quanto a citação não indicar qualidade e sim visibilidade?

Fico pensando em áreas onde a citação não eh tão forte assim, como as artes, por exemplo.


Abraços
Raymundo (ICI/UFBA)

Rogério Mugnaini disse...

Pessoal,

O bate-papo está começando a esquentar, indicando que muitas opiniões ajudarão a vislumbrar algum consenso.

Aproveitando as palavras do título do post ("A USP é muito melhor que a UnB ?"), eu diria que indicadores baseados em citação, ganharão consitência, se o nível de agregação for grande. Ou seja, poucas citações sendo consideradas, baixa consistência do indicador. Quanto menos informação maior efeito da subjetividade da prática de citar.

A comparação de dois pesquisadores pode ser feita por pares, com base na leitura de alguns artigos dos mesmos, caso em que não tem sentido basear-se em dados objetivos.

Abraços,
Rogério Mugnaini
BIREME/OPS/OMS

Wanda Weltman disse...

Pessoal,
Concordo com os que dizem que citações são indicativos de visibilidade e não necessariamente de qualidade. Estes indicadores podem ser usados em tomadas de decisão, mas não podem ser o único critério a ser usado, pois são apenas indicadores. Na definição do mérito acadêmico outros critérios precisam e devem ser considerados, os dados quantitativos precisam ser mesclados com os dados qualitativos, caso contrário a avaliação ficará capenga.

Wanda Weltman
Casa de Oswaldo Cruz
FIOCRUZ

Silvio disse...

Olá a todos,

Escrevo com o intuito de colaborar nesta discussão (bastante importante no contexto atual, principalmente levando-se em conta as direções que agências de financiamento estão ou podem estar tomando). O texto acabou ficando um pouco longo, mas espero que chegue ao final pensando que valeu a pena lê-lo:

Considero a criação/utilização de um indicador de qualidade para artigos científicos extremamente complexa e um tanto subjetiva. No intuito de equacionar um indicador objetivo, o criador de tal índice (cientometrista ou não) leva em consideração (=tem em mente) um número definido de critérios que, em seu julgamento, são condições que serão contempladas pelo indicador e que irão legitimá-lo como objetivo. São critérios objetivos segundo seu criador, mas subjetivos pois pode-se esquecer de outros critérios igualmente importantes ou mesmo brechas não imaginadas.

Podemos considerar o número de citações de um artigo como um bom indicador, segundo critérios de i) reconhecimento da boa qualidade do artigo (integralmente ou conteúdo específico); ii) reconhecimento da má qualidade do artigo (artigos ruins também são citados e reconhecidos publicamente como tal...); iii) reconhecimento da utilidade de conteúdo específico do artigo (útil na elaboração do artigo em que foi citado, i.e. nova metodologia, software, ...); ETC.
Segundo este critérios, logicamente, citação não é sinônimo de visibilidade (no sentido pejorativo que a palavra pode alcançar em ciência). Citação é sim sinônimo de reconhecimento, na maioria dos casos, um reconhecimento positivo, de boa qualidade do trabalho desenvolvido.

Por outro lado, também podemos considerar o número de citações como um mau indicador, segundo critérios de i) auto-citações; ii) citações ‘social club’ (de colaboradores, amigos, colegas, ex-orientados, marido, esposa, etc); iii) procedência geográfica (privilegiar citação de colegas de mesma origem hemisférica, nacional, continental, etc); iv) visibilidade da revista (privilegiar citação de artigos de revistas com alto fator de impacto, revistas estrangeiras com título em inglês, etc); v) “sugestão” do editor da revista para citar artigos da própria; vi) “sugestão” do referee para citar artigos do próprio; ETC.
Levando em conta estes critérios, sim, citação equivale a visibilidade, mas no sentido pejorativo de ser uma visibilidade auto-promovida (itens i, ii, iv, v, vi) ou promovida (itens iii, iv). Isto leva equivocadamente a um círculo vicioso onde citar e ser citado é facilmente manipulável e maquiável. Nisto, discordo um pouco do Marcos Faria que postou que “visibilidade = qualidade da obra + qualidade da comunicação”, pois, para mim, a visibilidade é artificial e somos levados a crer que, no final das contas, uma boa revista possua bons artigos e vice-versa.

Voltando aos critérios que indicam citação como reconhecimento de qualidade do artigo, mesmo embora estes critérios possam ser considerados objetivos para um artigo individual, acho difícil comparar tipos diferentes de artigos (com conteúdos diferentes). Sendo assim, penso como a profa. Lea Velho (Unicamp), de que não há como equivaler citações feitas a artigos de pesquisadores diferentes, que não há como equivaler citações feitas em áreas diferentes da ciência, e também que não há como equivaler citações de artigos diferentes.
Sou biólogo e atuo na área de taxonomia, diversidade e evolução de insetos. E, por experiência, sei que um artigo no qual analiso e explico o padrão de diversificação (história evolutiva) de um grupo de insetos da América do Sul com origem no Cretáceo será citado inúmeras vezes desde sua publicação, em contraste com um artigo no qual descrevo uma espécie nova de inseto da Mata Atlântica, que será certamente lido, impresso e utilizado por inúmeros grupos de pesquisa, mas que poderá não ser citado uma única vez sequer (!!!). A espécie descrita será certamente incluída em listas de inventário faunístico da Mata Atlântica, trabalhos de ecologia da polinização, estudos de comportamento, listas de animais ameaçados de extinção, entre outros, mas citar uma espécie não significa citar o artigo onde ela foi descrita. Os dois artigos acima possuem qualidades distintas??? O segundo é inferior porque não foi citado??? O primeiro é mais importante porque explica a história evolutiva de um grupo antigo??? Eu, como pesquisador que precisa de financiamento e submete projetos para CNPq e FAPESP, devo desenvolver e publicar quais dos dois tipos de artigos acima, o que vai ser citado ou o que não vai??? Meu papel (nosso) é desenvolver ciência de qualidade ou ciência para ser citada???

O nível de comparação entre dois artigos diferentes foi dentro da minha área de pesquisa, se fizesse a mesma reflexão com artigos de áreas diferentes a discrepância deverá ser ainda maior. Sendo assim, existe um sentido objetivo em se comparar o número de citações entre artigos, pesquisadores e áreas diferentes? Esta reflexão se estende à utilidade do número de citações em qualquer outro índice equacionado a partir deste (e.g. índice H, índice CcP do Marcelo, etc.).

É isto.

Silvio Nihei
Instituto de Biociências
USP (não me joguem ovos!)

Luc Quoniam disse...

Marcelo

Meu texto (abaixo) poderia servir de inicio a um artigo cientifico, pois existe bibliografia justificando tudo que falei. Eu era especialista de bibliometria e indicadores da ciência ate minha livro docência (1996), permaneço trabalhando indicadores, mas voltados a tomada de decisão no mundo da pesquisa e inovação industrial. Meu curriculum esta no Lattes. Colaboro na UNB com o departamento de ciência da informação.

abraços
Luc

===================

A analise da citação e só um dos meios de fazer avaliação. Este meio servi muito para fazer propaganda para a única (não e mas o caso) base de dados capas de vender (muito carro) dados sobre citações durante muito tempo. No inicio esta base foi criada para estudar sociologia da ciência (estuda da propagação de conhecimento cientifico pela citação). Deve ser lembrado para minimizar algumas estudas de citações que elas se aproximam mas do lobbying para venda da base do que estudas cientificas reais, pois produzir uma base com citação aumenta muito o preço de produção.

Mas existes inúmeros outros indicadores a considerar para avaliação... A mas quando se refere a julgamento de pessoas...

Avaliação, no entendimento dos anglo-saxon não tem só o significado de avaliar pessoas físicas mas serve para entender como o sistema funcione (sociologia da ciência, cientometria, eventualmente projectos e financiamentos). Em outras culturas o sentido de avaliação e quase já castigar pesquisadores. Isto amplificado pela facilidade de uso que represente os indicadores pelos avaliadores (ilusão da veracidade da medida porque ela fornece números), avaliadores que nem sempre conhece os desvios e limites dos indicadores utilizados.

Os indicadores Bibliometricos e cientometricos dependem da consistência das bases de dados que nem sempre esta testada, verificada antes de construir os indicadores, os desvios são exemplificados quando a mostra se reduz, invalidando qualquer tipo de analise a nível de ma pessoa física.

Considerações éticas básicas impede de usar tais indicadores para julgar pessoas.

Também, e bom lembrar que tanto a "ciência" de construção de indicadores (seja que for) bem como a "ciência" da avaliação não pertencem as ciências "exactas". So este aspecto força a considerar muitos indicadores e muitos avaliadores antes de "condenar" um cientista a ser considerado "ruim". Ser considerado "bom" sendo mas fácil, mesmo quando o julgamento e errado.

O sistema de avaliação da ciência e baseado em avaliação pelos pares, bem como a publicação. Então somos nos que decidimos (diretamento ou não) dos critérios que nos aceitamos para ser julgados.

No meu caso sempre recusei ser avaliado pela citação, pois a base existente era e permanece fraca na minha área, então aceitar ser julgado com estes critérios era me dar um tiro no pé. Sempre que foi avaliado, procurei oferecer para meus pares julgadores uma reflexão sobre meu curriculum, oferendo para o julgamento deles indicadores que eu achava relevante para "entender" minhas actividades.


--
Luc Quoniam
Professeur des Universités
Université du Sud Toulon Var

http://lab4u.info; http://quoniam.univ-tln.fr

Anônimo disse...

galeeeeeera, olha o que vocês estão discutindo.... USP e UNB? quem publica mais? deixem de orgulho e vão trabalhar em algo que efetivamente contribuirá para o desenvolvimento do país...