Ranking-Manipulation: Wie aus unbekannten Mathematikern plötzlich Stars wurden
Ein spanischer Mathematiker hat herausgefunden, dass sich Fachkolleginnen und -kollegen mit Hilfe von Zitierkartellen größer gemacht haben, als sie eigentlich sind. Es geht um Millionen von Forschungsgeldern und natürlich auch um Reputation.
Mathematiker und Universitäten haben sich mit Hilfe von Zitierkartellen künstlich an die Spitze von Rankings katapultiert.
Foto: PantherMedia / KukiLadrondeGuevara
Ranking ist alles – das gilt im Internet und auch in der Wissenschaft. Einem spanischen Mathematiker ist aufgefallen, dass in den Rankings der Mathematik immer häufiger unbekannte Universitäten und unbekannte Kolleginnen und Kollegen auf den vorderen Plätzen auftauchen. Er ging der Sache nach und fand heraus, dass so genannte Zitierkartelle dafür verantwortlich sind. Womit sich der Kreis schließt – auch im Internet wird viel getrickst, um in den Suchergebnissen weiter oben zu landen. Also im Ranking höher zu stehen, als es einem eigentlich an Reputation zusteht.
Darum geht es bei den Manipulationen
Gruppen von Mathematikern an Institutionen in Ländern wie China und Saudi-Arabien haben die Zahl der Zitationen ihrer eigenen Arbeiten künstlich erhöht, so eine noch unveröffentlichte Analyse, die dem Wissenschaftsmagazin Science vorliegt. Dies gelang ihnen, indem sie Forschungsarbeiten von geringer Qualität veröffentlichten, in denen ihre eigenen Arbeiten häufig zitiert wurden. Das Ergebnis ist, dass ihre Universitäten, von denen einige offenbar keine eigene mathematische Fakultät haben, jedes Jahr mehr hoch zitierte mathematische Forschungsarbeiten veröffentlichen als renommierte Universitäten mit einer starken mathematischen Tradition wie Stanford und Princeton.
Nun die Parallele zum Internet: Dort wird durch Linkkauf versucht, minderwertige Webauftritte besser aussehen zu lassen, als sie tatsächlich sind. Links sind sozusagen die Zitate der Wissenschaftswelt. Wer häufig verlinkt wird, hat in den Augen von Google ein hohes Ansehen und wird mit besseren Rankings belohnt. Wobei Google in den letzten Jahren sehr viel besser geworden ist, solche gekauften Links zu erkennen. Die Linkkäufer und Linkgeber werden dann bestraft, d.h. sie verlieren ihr Ranking oder werden gleich ganz aus dem Index geworfen. Ähnlich ist es im Bereich Mathematik passiert.
Gesamter Bereich Mathematik aus den Rankings geflogen
Experten für Publikationspraktiken beobachten, dass Zitierkartelle versuchen, die Rankings ihrer Universitäten zu verbessern. Cameron Neylon, Professor für Forschungskommunikation an der Curtin University, weist darauf hin, dass Veränderungen in den Rankings erhebliche finanzielle Auswirkungen haben können, wodurch Universitäten Millionen von Dollar gewinnen oder verlieren können.
Dies führt dazu, dass einige die Regeln dehnen oder brechen, um ihre Position zu verbessern. Als Reaktion auf diese Manipulationsversuche hat das Analyse-Unternehmen Clarivate den gesamten Bereich Mathematik aus seiner letzten Liste der am häufigsten zitierten Autoren entfernt, die im November 2023 veröffentlicht wurde.
Unbekannte Mathematiker hatten die Liste gekapert
Die aufsehenerregende Studie stammt von Domingo Docampo, einem Mathematiker der Universität Vigo, der sich intensiv mit Hochschulrankings beschäftigt. In den letzten Jahren ist ihm aufgefallen, dass die Liste der am häufigsten zitierten Forscher von Clarivate zunehmend von weniger renommierten Mathematikern dominiert wird.
Docampo stellte fest, dass diese Forscher in Fachzeitschriften publizierten, die von anerkannten Mathematikern nicht gelesen werden, und dass ihre Arbeiten in Studien zitiert wurden, die ebenfalls außerhalb des seriösen wissenschaftlichen Diskurses stehen. Außerdem kamen die Autoren von Institutionen, die in der mathematischen Welt unbekannt sind. Um diesem Phänomen auf den Grund zu gehen, analysierte er die Clarivate-Daten der letzten 15 Jahre, um herauszufinden, welche Universitäten besonders häufig zitierte Forschungsarbeiten veröffentlichten und in welchem Zusammenhang diese Zitate standen.
China Medical University plötzlich Top-Uni für Mathematik
Docambo fand bei der Analyse der Zahlen heraus, dass zwischen 2008 und 2010 Institutionen mit einem starken mathematischen Renommee wie die University of California, Los Angeles (UCLA) und Princeton die Rangliste der meistzitierten mathematischen Publikationen (definiert als die obersten 1% der Zitationen) mit 28 bzw. 27 Arbeiten anführten.
In den Jahren 2021 bis 2023 wurden sie jedoch von Institutionen überholt, die traditionell nicht für ihre mathematische Forschung bekannt sind, darunter viele aus China, Saudi-Arabien und Ägypten. Besonders hervorzuheben ist die China Medical University in Taiwan, die mit 95 hochzitierten mathematischen Publikationen die Liste anführt – ein deutlicher Anstieg im Vergleich zu keiner einzigen Publikation dieser Art im vorangegangenen Jahrzehnt. Im Gegensatz dazu konnte die UCLA in diesem Zeitraum nur eine einzige Arbeit vorweisen, die zu den am häufigsten zitierten gehörte.
Muster lässt auf Zitierkartelle schließen
Docampo entdeckte Muster, die auf die Existenz von Zitierkartellen hindeuteten. Besonders auffällig war, dass die Zitate in den Top-Publikationen häufig von Forschern derselben Institution stammten, der auch die Autoren der zitierten Arbeit angehörten. Beispielsweise veröffentlichten die China Medical University und die King Abdul-Aziz University, die zwischen 2021 und 2023 zusammen 66 Top-Publikationen hatten, Hunderte von Studien, die sich auf häufig zitierte Arbeiten bezogen. Docampo stellte auch fest, dass diese Studien oft in so genannten Raubtier-Journalen veröffentlicht wurden, die unseriöse Zitierpraktiken möglicherweise eher tolerieren.
Auch andere Wissenschaftler sehen in den Ergebnissen Hinweise auf weit verbreitete Zitiermanipulationen. Helge Holden, Vorsitzender des Komitees des Abel-Preises, eines renommierten Mathematikpreises, kritisiert diese Praxis scharf: „Es gibt Forscher, die die Zahl ihrer Zitate künstlich in die Höhe treiben, ohne dass dies ihre wissenschaftliche Leistung widerspiegelt. Das ist absolut verwerflich“.
Beschuldigte geben sich ahnungslos
Yueh-Sheng Chen, leitender Sekretär der China Medical University, betont, dass seine Universität in keiner Weise an Zitatmanipulationen beteiligt sei. „Wir wissen nichts von gezielten Zitatmanipulationen und beteiligen uns nicht daran“, erklärt er. Stattdessen verweist er auf die Strategie seiner Universität, „international anerkannte Experten und Wissenschaftler aus Bereichen wie der angewandten Mathematik“ einzubinden, um den interdisziplinären Ansatz in der medizinischen Forschung zu stärken. Die King Abdul-Aziz Universität wollte auf Anfrage von Science keinen Kommentar abgeben.
Clarivate, das Unternehmen hinter der HCR-Liste, hat sich nicht direkt zu den Vorwürfen geäußert. In online veröffentlichten Kommentaren zu ihrer Entscheidung, Mathematiker von der aktuellen HCR-Liste zu streichen, äußert sie jedoch Bedenken hinsichtlich der „Optimierung von Status und Belohnungen durch die Manipulation von Publikationen und Zitationen, insbesondere durch das gezielte Zitieren sehr neuer Arbeiten“. Clarivate begründet seine Bedenken mit der Anfälligkeit der Mathematik für solche Manipulationen. Das Fach sei klein und zeichne sich durch eine durchschnittlich niedrige Publikations- und Zitationsrate aus. Daher könnten bereits geringe Steigerungen in diesen Bereichen zu Verzerrungen in der Darstellung und Analyse des Faches führen.
Gibt es auch in anderen Disziplinen Manipulationen?
Félix de Moya Anegón, Bibliometriker an der Universität Granada, weist gegenüber Science darauf hin, dass Zitationsmanipulationen auch in anderen Disziplinen vorkommen, wenn auch weniger offensichtlich. Ilka Agricola, Vorsitzende des Komitees für elektronische Information und Kommunikation der Internationalen Mathematischen Union, äußert die Befürchtung, dass Clarivate durch die Hervorhebung der Mathematik den falschen Eindruck erwecken könnte, dass diese Disziplin besonders von unseriösen Wissenschaftlern betroffen sei. Sie bedauert, dass keine andere Lösung gefunden wurde, als die Mathematik gänzlich auszuschließen.
Clarivate erklärt den Ausschluss der Mathematik dadurch, dass es externe Experten konsultiert, um die Methodik für künftige Analysen in diesem Bereich zu verbessern. Docampo entwickelt eine verfeinerte Metrik, die Zitate auf der Grundlage der Qualität der zitierenden Zeitschriften und Institutionen bewertet.
Andere Wissenschaftler sehen in der Manipulation von Zitaten lediglich ein Symptom für ein mangelhaftes Bewertungssystem. Ismael Rafols, Forscher am Zentrum für Wissenschafts- und Technologiestudien der Universität Leiden, argumentiert, dass Zitate und ähnliche Metriken zu grob seien, um individuelle Leistung angemessen zu messen. Sie seien anfällig für Manipulation. Holden stimmt dem zu und betont, dass Zitate kein zuverlässiges Maß für wissenschaftliche Qualität seien.
Ein Beitrag von:
