Evaluation der JASPER-Abfrage

Nach der Veranstaltung am 19.03.2025 steht fest, dass die JASPER-Abfrage fortgeführt wird. Die neue JASPER-Abfrage 2025/26 startet Mitte Juni 2025. Wir möchten Sie hier über die Ergebnisse der JASPER-Evaluation informieren. Die Folien zur Evaluationsveranstaltung finden Sie in unserem Wissenspeicher der JASPER-Veranstaltungen

• Beteiligungsrate an der Evaluation
• Aufbau des Evaluationsfragebogen:
• Ergebnisse der Evaluation
• Weiterführung der JASPER-Umfrage
• Nutzen von JASPER 2023/24
• Darstellung von JASPER 2023/24
• Veröffentlichungsprozess von JASPER 2023/24
• Änderungsbedarfe für JASPER 2025/26
• Formale Überarbeitungen
• Neue Kategorien
• Verbesserung der Disseminationswege
• Zeitplan für kommende JASPER-Abfrage 2025/26
• Aufruf zur Evaluation der JASPER-Umfrage

Beteiligungsrate an der Evaluation

Der Evaluationsfragebogen ist von 109 Personen beantwortet worden, wobei häufig zwei Personen pro Institut teilgenommen haben. Insgesamt haben sich 63 verschiedene Einrichtungen an der Evaluation beteiligt.

Die Teilnehmenden lassen sich in zwei Kernzielgruppen einteilen: IT-Leitungen (46 Beteiligungen) und Administrative Geschäftsführungen (34 Beteiligungen).

Aufbau des Evaluationsfragebogen:

Der Fragebogen zur Evaluierung von JASPER hat sich in zwei Hauptabschnitte gegliedert: einen Abstimmungsteil und einen Feedbackteil. Im Abstimmungsteil haben die Teilnehmenden ihre Meinung zur Fortführung des JASPER-Programms äußern können. Dabei wurde gezielt nach dem allgemeinen Interesse und der Akzeptanz gefragt, indem die Teilnehmenden bewertet haben, ob und in welcher Form die Abfrage erneut fortgeführt werden soll. Im Feedbackteil haben die Teilnehmenden die Möglichkeit gehabt, schrittweise detaillierte Rückmeldungen zu den inhaltlichen und organisatorischen Aspekten von JASPER zu geben.

Insgesamt ist Feedback in drei Dimensionen abgefragt worden.

Ergebnisse der Evaluation

Die Antworten sind sowohl statistisch als auch qualitativ ausgewertet worden. Die Ergebnisse wurden ausschließlich in aggregierter Form veröffentlicht. Folgende Ergebnisse lieferte die JASPER-Evaluation:

Weiterführung der JASPER-Umfrage

In der Evaluation zur Weiterführung der JASPER-Abfrage haben 85 % der Teilnehmenden für deren Fortsetzung gestimmt. Die Befürworter haben als Hauptgründe den einrichtungsübergreifenden Austausch, die Aktualität der Ergebnisse und die Erleichterung der gemeinsamen Beschaffung genannt.

Mehr als die Hälfte der Teilnehmenden hat den Zeitaufwand für die Teilnahme als angemessen bewertet und einen jährlichen Wiederholungszyklus befürwortet.

Dagegen haben sich 15 % der Teilnehmenden gegen eine Fortführung von JASPER ausgesprochen. Als Hauptgründe haben sie den hohen Zeitaufwand für das Ausfüllen der Umfrage sowie die geringe Beteiligungsrate von nur 69 der 97 potenziellen Teilnehmer genannt. Zudem haben einige den Mehrwert in den jeweiligen Arbeitskreisen als unzureichend bewertet.

Nutzen von JASPER 2023/24

• JASPER wurde 2023/24 in absteigender Reihenfolge für die folgenden Aufgaben genutzt: IT-Planung, strategische Entscheidungen, Beschaffungsverhalten, Budgetplanung und Personalplanung

Darstellung von JASPER 2023/24

• Die Mehrheit der Evaluierenden bewertete sowohl die Datenmappe (Mittelwert 1,79) als auch die grafische Darstellung der Daten (Mittelwert 1,69) als hilfreich.
• 17% der Antwortenden nutzten die grafische Datenaufbereitung nicht. Der Schwerpunkt von JASPER liegt auf der detaillierten Betrachtung in den Datenmappen.

Veröffentlichungsprozess von JASPER 2023/24

• Etwa 80 % der Evaluierenden empfanden den Zugang zu den Daten als einfach oder eher einfach. Die übrigen 20 % hatten Schwierigkeiten beim Zugriff und gaben in Kommentaren detailliertes Feedback, das in die Überarbeitung der Verbreitungswege eingeflossen ist.
• Von den 50 Antwortenden gaben 25 an, keine Hilfsmittel für die Nutzung von JASPER zu verwenden. Die am häufigsten verwendeten Hilfsmittel waren die JASPER-Workshops, gefolgt von dem JASPER-Wiki.

Änderungsbedarfe für JASPER 2025/26

Der vergangene JASPER-Zyklus hat verschiedene Änderungsbedarfe aufgezeigt. Diese werden auf formaler, inhaltlicher und organisatorischer Ebene umgesetzt.

Formale Überarbeitungen

In der Überarbeitung der Frageblöcke wurden einige Felder gestrichen und neue hinzugefügt.

Die Felder für Version und Kosten entfallen, da sie als fehleranfällig eingestuft wurden und insbesondere im Bereich Kosten eine Neustrukturierung der Antwortmöglichkeiten als zu komplex eingestuft wurde.

Neu eingeführt werden Felder zur Art der Beschaffung, mit Optionen wie UVGo, LKCB-RV, Direktvergabe, und OvGo. Ebenfalls neu ist ein Feld zur Teilungsbereitschaft von Vergabedokumenten, die nun einmalig zu Beginn erfragt wird. Zuletzt wird das Feld Größe des Instituts und Fördersumme automatisch von der Geschäftsstelle eingetragen.

Neue Kategorien

Als modulare Datenabfrage kann JASPER jederzeit erweitert werden. Für den JASPER-Zyklus 2025/26 sind einige neue Kategorien bereits festgelegt. Dazu gehören KI-Sprachmodelle/Metaplattformen, Weiterbildungsplattformen und Übersetzungsprogramme. Für die Einführung weiterer Kategorien wurde eine Abfrage über die verschiedenen Arbeitskreise gestartet.

Verbesserung der Disseminationswege

Als Reaktion auf die bestehenden Herausforderungen – insbesondere die langen Kommunikationswege in den Einrichtungen und die häufige Neubeantragung von Zugangsdaten – wird im kommenden JASPER-Zyklus die Verteilung der Ergebnisse auf zusätzliche Kanäle erweitert.

Folgende Maßnahmen sind geplant:

Die bereitgestellten Excel-Dateien mit den JASPER-Ergebnissen sollen direkt in der Leibniz-Cloud verschiedener Arbeitskreise zur Verfügung gestellt werden. Dies wird sicherstellen, dass die administrativen (VA) und wissenschaftlichen Leitungen (Sektionen), sowie die Arbeitskreise Finanzen, Recht und Personal und IT einen unmittelbaren und unkomplizierten Zugang zu den Daten erhalten. Ebenso wird dieser Zugang für den Vergabetag eingerichtet.

Die Ablage in der leibniz.cloud reduziert außerdem den Versand von Zugangsdaten per E-Mail, was die Sicherheit erhöht.

Zusätzlich erhalten IDA-Administratoren einen direkten Cloud-Link über das IDA-System, wodurch der Zugriff auf relevante Daten erleichtert und beschleunigt wird.

Zeitplan für kommende JASPER-Abfrage 2025/26

Es wird einen JASPER-Zyklus 2025/26 geben, der versetzt zur PAKT-Abfrage stattfindet, um die Einrichtungen nicht zu sehr zu belasten. Nach der Implementierung der Veränderungen im April und Mai startet die nächste JASPER-Abfrage vor den kommenden Sommerferien 2025 und läuft bis in den Herbst. Die Ergebnisse werden bis zum Ende des Jahres ausgewertet und Anfang 2026 veröffentlicht. Dieser Zyklus soll beispielhaft für weitere JASPER-Zyklen gelten.

Aufruf zur Evaluation der JASPER-Umfrage

JASPER steht für Jährliche Abfrage der Software und Programme in den Einrichtungen. In der Konzeption des Projektes ist daher eine regelmäßige Wiederholung der Befragung vorgesehen. Ob, wie oft und in welcher Form die JASPER-Umfrage wiederholt wird, hängt vom Nutzen für die Leibniz-Einrichtungen ab. Sie haben im Rahmen der Workshops die Möglichkeit Feedback zu geben. Darüber hinaus haben wir am 6. November 2024 zur Beantwortung einer Evaluationsumfrage per E-Mail über die E-Mail-Verteiler aufrufen. Fragebogen, Auswertung und Kommunikation sollen evaluiert und ggf. künftig angepasst werden. Unter diesem Link können Sie an der Umfrage teilnehmen: https://ida.leibniz-gemeinschaft.de/datenabfrage/Evaluation-Jasper2023-24. Die Teilnahme ist anonym und ohne Anmeldung möglich. Die Bearbeitungszeit beträgt etwa 5-10 Minuten. Bitte füllen Sie die Umfrage bis zum 31. Dezember 2024 aus und unterstützen Sie uns dabei, das Projekt zu verbessern!