Re: [IP-OA_Forum] Neues Webometrics-Repository-Ranking online

[Ulrich Herb <u.herb@scinoptica.com>]

Liebe Liste,

erstmal vielen Dank an Olaf Siegert für die Infos. Bezüglich der 
Aussagefähigkeit und Qualität des Rankings teile ich aber die 
Einschätzungen von Graf & Krichel ...

> Ich halte das für unwissenschaftlichen Murks.
>
> Die genaue Ranking-Formel wird nicht angegeben.
>
> Das genaue Vorgehen bei den einzelnen Kriterien bleibt offen.


Exakt, weil es intransparent ist, ist auch unklar, ob diese 
Informationen noch Bestand haben:

Aguillo, I., Ortega, J., Fernández, M., & Utrilla, A. (2010). Indicators 
for a webometric ranking of open access repositories. Scientometrics. 
doi:10.1007/s11192-010-0183-y

Fragwürdig ist auch die im Artikel beschriebene Bevorzugung von PDF- vor 
HTML-Volltext-Dateien, da letztere meiner Meinung nach der PDF in 
vielerlei Hinsicht, z.B. Einbindung von multimedialen Elementen, 
vorzuziehen sind. Zudem folgt das Ranking selbstverständlich wie alle 
Rankings einem quantitativen Ansatz, man könnte auch sagen einer 
Tonnenideologie. Die Grundannahme lautet: Viele PDFs sind ein Zeichen 
von Qualität, eine quasi marxistische Sichtweise. Kleine, 
hochspezialisierte Informationsspeicher, die für überschaubare 
Communities Informationen bereit stellen, werden benachteiligt. Das ist 
generell das *Problem* von Rankings, sie sollten nur vergleichbare Items 
vergleichen, das tun sie aber meistens nicht.

Wenn die Angaben im Artikel noch stimmen, wird die Größe des 
Repositories auch nicht über Abfragen der OAI-Schnittstelle bestimmt, 
sondern durch Google-Abfrage, ich kann also leicht meine Position 
verbessern indem ich alle Hilfeseiten als PDF anlege.

Auch die Index-Bildung ist gelinde gesagt (und so weit nachvollziehbar) 
mehr als fragwürdig. Es bleibt völlig unklar auf welcher Dimension das 
Ranking Aussagen trifft, sprich: Nach welchem Merkmal werden Items/ 
Repositories gerankt. Folglich werden auch keine Angaben dazu gemacht, 
über wie Eigenschaften, die ins Ranking eingehen operationalisiert 
werden - wahrscheinlich hat man dazu überhaupt keine Überlegungen 
angestellt, sondern einfach leicht verfügbare Informationen ohne 
messtheoretische Fundierung gemixt. An sich ist dieses Ranking noch 
verschrobener und fragwürdiger als der Journal Impact Factor.

Das Problem ist, dass solche Konstrukte soziale Tatsachen werden können, 
dem JIF ist es gelungen, und Handlung und Einschätzungen steuern, das 
nennt man dann meist einen De-Facto-Standard ... und es wimmelt von 
willkürlichen, schlecht erarbeiteten, aber allseits akzeptieren 
Standards dieser Art: JIF, COUNTER, dieses Ranking ...

Dabei wäre es nicht so schwer, ein besseres Repository Ranking zu 
entwerfen, ich hatte mir dazu mal einige Gedanken gemacht und skizziert, 
aber nicht weiter verfolgt. Vielleicht sollte man das mal gemeinsam 
verfolgen, im Moment fehlt mir etwas die Muse.

Viele Grüße

Ulrich Herb