Mittlerweile ist unser Evaluationsworkshop im Rahmen des Projektes MELT schon wieder eine Weile her, aber wenn ein Meeting das andere jagt und das jeweils an anderen Ecken Europas braucht es erst einen ruhigen Samstag, um zum Bloggen zu kommen...

Für uns wird es jetzt sozusagen ernst – im März muss das Evaluationskonzept inklusive genauer Methoden festgeschrieben sein. Dazu haben wir im Jänner - oder Januar ;-) - einen Workshop mit den Projektpartnern veranstaltet. Fruchtbare Diskussionen haben die zwei Tage geprägt und es ist gelungen, die genauen zu untersuchenden Fragen und Methoden grob festzulegen.

Da das Projekt an sich sehr komplex ist wird auch die Evaluation auf vielen Ebenen erfolgen.

Zum ersten werden die Lehrer miteinbezogen, die im Rahmen von MELT mit „Social Tagging“ des MELT Contents experimentieren sollen. (Der Content stammt aus vernetzten Repositories und Referratories aus ganz Europa und wird mittels Harvesting in das zentrale MELT Repositorium kopiert. Zusätzlich werden mittels Federated Search Engine einkommende Anfragen an die lokalen Repositorien weitergeleitet).

Die beteiligten Lehrer aus Österreich, Ungarn, Belgien und Finnland werden bzgl. Ihrer Erfahrungen im Rahmen des Projektes befragt werden, wobei hier mehrere spezifische Kriterien betrachtet werden, und zwar in Bezug auf den Tagging Prozess, die Nutzung des Portals und die Nutzung des Contents. Dies soll im Rahmen einer Panel-Studie mit Fragebögen erfolgen sowie Interviews am Beginn und Ende des Projekts. In Hinblick auf die tatsächliche Nutzung des Content werden wir Log-Analysen mit Befragungen kombinieren.

Zusätzlich ist eine Evaluation des MELT-Portals im Usability-Lab der DUK geplant.

Die zweite Ebene der Evaluation konzentriert sich auf Content und Metadaten, wobei einerseits die Menge, andererseits die Qualität der Metadaten analysiert werden sollen, und zwar für Experten-indizierte strukturierte Metadaten als auch für die so genannten „Folksonomies“, die „Social Tags“ (immer diese englischen Ausdrücke! Einen deutschen Text damit zu schreiben ist wahrlich ein Krampf). Außerdem soll geschaut werden, welche Faktoren zur Nutzung des Content beitragen (wobei insbesondere cross-language und cross-national use betrachtet werden soll).

Dazu werden vielerlei Methoden angewandt. Strukturierte Metadaten werden anhand spezifischer Qualitätskriterien analysiert (dabei stützen wir uns auf ein Modell von Ochoa & Duval). Quantitative wennimmer möglich automatisch kalkulierte Daten werden mit subjektiven Messungen von Nutzern kombiniert.

Darüber hinaus werden Prozessprotokolle der teilnehmenden Lehrer eingesetzt und mit Log-Analysen der in den Protokollen festgehaltenen Aktivitäten und Intentionen der Nutzer kombiniert. Die objektbezogenen Metadaten werden dann mit den Informationen der Prozessprotokolle in Verbindung gebracht werden.

Außerdem werden wir uns mit „explorative search evaluation“ auseinandersetzen und einen statistischen Zugang integrieren. Dazu wohl ein andermal mehr, nachdem ich mich mit diesem Konzept mehr befasst habe…

Schlussendlich ist eine Analyse der Charakteristika der Folksonomies, die im Rahmen des Projekts entstanden sind, angedacht: Unterschiede und Überlappungen zwischen Social Tags und traditionellen Metadaten, Verteilungsform der Folksonomies (long tail?) und ein Klassifizierungsversuch der Tags. Inwieweit die Analyse der Folksonomies realisiert werden kann wird jedoch erst der Projektverlauf zeigen…

Eine komplexe Sache. Und je mehr alles klare Formen annimmt umso spannender wird es.