TECHNIK BEGEISTERT e.V.

Gesellschaftliche Wirkung

Ergebnisse unserer wissenschaftlichen Evaluationsstudie der WRO-Saison 2019

In den vergangenen Jahren gab es bereits regelmäßige Feedback-Umfragen zum WRO-Wettbewerb an sich, den regionalen Wettbewerben und dem Deutschlandfinale. Im Jahr 2019 sind wir einen Schritt weitergegangen: Neben dem Feedback zur eigentlichen Veranstaltung sollte untersucht werden, was die Teilnehmerinnen und Teilnehmer durch die Teilnahme an dem Wettbewerb lernen, wie sie sich durch die WRO Wettbewerbe entwickeln und wie sich ihre Einstellung zu Robotik, Informatik und technischen Themen verändert. Hierzu wurde mithilfe der Didaktik der Informatik der Universität Würzburg (zur Homepage) eine Evaluationsstudie in der WRO-Saison 2019 durchgeführt. Ermöglicht wurde dieses Vorhaben durch die freundliche Unterstützung der Dr. Hans Riegel-Stiftung.

Zentrale Ergebnisse, Erläuterungen und Stimmen zur Studie

Darstellung der Einflussstärke der WRO auf die Kompetenzentwicklung der Teilnehmerinnen und Teilnehmer

in CLES (Common Language Effect Size) Grafik Kompetenzentwicklung der Teilnehmerinnen und Teilnehmer

Darstellung der Einflussstärke der WRO auf das Selbstkonzept & Interesse in Informatik & Technik der Teilnehmerinnen und Teilnehmer

in CLES (Common Language Effect Size) Grafik Selbstkonzept und Interessse der Teilnehmer

Stimme zur Evaluationsstudie / Prof. Dr. Martin Hennecke, Universität Würzburg

Die Ergebnisse der Evaluation der World Robot Olympiad sind auf breiter Front sehr erfreulich. Besonders herauszuheben ist, dass neben den zu erwartenden Hardskills auch Softskills erfolgreich gefördert werden. Bemerkenswert ist auch, dass Teilnehmerinnen und Teilnehmer auch bei wiederholter Teilnahme noch von dem Wettbewerb profitieren.

Wofür steht CLES / Common Language Effect Size?

Die Common Language Effect Size (CLES) ist eine wissenschaftliche Maßeinheit zur Angabe der Effektstärke eines Einflusses. CLES gibt die Wahrscheinlichkeit an, mit der ein zufällig aus der einen Gruppe gezogener Fall einen höheren Wert hat als ein zufällig gezogener Fall aus der anderen Gruppe (z.B. vorher – nachher, Vergleiche von Untergruppen etc.).

Bezogen auf die Ergebnisse in den Grafiken bedeutet dies zum Beispiel, dass sich unter den Teilnehmerinnen und Teilnehmern der WRO in 79% der Fälle eine positive Kompetenzentwicklung im Bereich „Arbeitsweise und Problemlösefähigkeit“ im Vergleich vorher – nachher zeigte. Dies entspricht einem starken Effekt.

Wie ist die Evaluationsstudie abgelaufen?

Die Evaluationsstudie gliederte sich in zwei Teilstudien. In der ersten Teilstudie erfolgte eine Untersuchung der Kompetenzentwicklung der teilnehmenden Teams. Hierzu wurden die Team-Coaches der Teams mithilfe eines Fragebogens zur Kompetenzentwicklung der Kinder und Jugendlichen befragt (Fremdeinschätzung). Die Befragung erfolgte bei allen 33 regionalen Wettbewerben in der Saison 2019, wobei 413 von 683 teilnehmenden Teams (60%) an der Umfrage teilnahmen.

In der zweiten Teilstudie wurden ehemalige Teilnehmerinnen und Teilnehmer (Alumni) mithilfe einer Online-Umfrage zur aktuellen beruflichen Situation und zum Einfluss der WRO auf Selbstkonzept und Interesse bzgl. Informatik und Technik (als wichtige Indikatoren für deren spätere Studien- und Berufswahl) befragt. An dieser Online-Umfrage nahmen 62 Personen teil.

Wer hat die Evaluationsstudie durchgeführt und ausgewertet?

Unser Verein hat sich zu Beginn der Studie mit der Universität Würzburg über die Fragestellungen ausgetauscht. Die Universität hat dazu entsprechende Fragebögen für die Teilstudien entwickelt.

Die Befragungen bei den regionalen Wettbewerben wurde durch unseren Verein und unsere Wettbewerbspartner koordiniert. Unser Verein und unsere Partner haben aber keinen Zugriff auf die individuellen Antworten erhalten, diese wurden in verschlossenen Umschlägen (ähnlich zu einer politischen Wahl) an die an die Universität Würzburg zur Auswertung übermittelt. Die Online-Befragung in der zweiten Teilstudie erfolgte direkt über Kanäle der Universität Würzburg.

Die Auswertung beider Studien erfolgte vollständig durch die Universität Würzburg, die uns nach Abschluss entsprechende Berichte zur Verfügung gestellt hat.

Wo finde ich den vollständigen Evaluationsbericht?

Die Grafiken auf dieser Website veranschaulichen die Kernergebnisse der Evaluationsstudie. Die Universität Würzburg hat uns die Ergebnisse in einem ausführlichen Evaluationsbericht sowie einer kürzeren Zusammenfassung bereitgestellt. Beide Dokumente könnten hier heruntergeladen werden:

Evaluationsbericht Langfassung
Evaluationsbericht Zusammenfassung
Evaluationsbericht Zusammenfassung in Englisch

Evaluation-Study-WRO-Germany In grafischer Form wurden die Ergebnisse der Evaluationsstudie in einem Folder aufbereitet. Den Folder können wir gerne als Print-Version zusenden, dazu gerne eine E-Mail an mail[at]technik-begeistert.org.
Ansicht Folder zur Evaluationsstudie

Wo wurden die Ergebnisse der Studie außerdem veröffentlicht?

Die Arbeit bzw. Ergebnisse der Studie wurden auch im wissenschaftlichen Kontext veröffentlicht. Hierzu gibt es bisher folgende Veröffentlichungen:

Pöhner, N., Hennecke, M. and Fleige, M. (accepted): Learning 21st century skills through educational robotics competitions - Selected results of an evaluation study of the World Robot Olympiad in Germany in 2019. In: Lepuschitz, W., Merdan, M., Koppensteiner, G., Balogh, R., Obdržálek, D. (Hrsg). Robotics in Education. RiE 2020. Advances in Intelligent Systems and Computing. Cham: Springer International Publishing.
Pöhner, N., Hennecke, M. (2019): Educating Future Scientists, Engineers, Makers and Inventors: Influence of Students' Participation in Educational Robotics Competitions on their Career Choices in Science, Technology, Engineering and Mathematics (STEM). In: Ihantola, P., Falker, N. (Hrsg.). Proceedings of the 19th Koli Calling International Conference on Computing Education Research. New York: ACM.

Einfluss der WRO auf die schulische Motivation

Selbsteinschätzung von ehemaligen WRO-Teilnehmerinnen und -Teilnehmer auf einer Skala von 1 bis 7. Grafik Einfluss der WRO auf die schulische Motivation

Kein Decklungseffekt

Kinder und Jugendliche können unabhängig von der Altersklasse, deren Erfahrung, des Geschlechts und des Erfolgs Kompetenzen für ihre zukünftige Arbeitswelt entwickeln. Grafik Decklungseffekt

Stimme zur Evaluationsstudie / Marco Alfter, Geschäftsführer Dr. Hans Riegel-Stiftung

Wettbewerbe für Schülerinnen und Schüler gibt es viele, aber was bewirken diese bei den Teilnehmenden? Nur wenige beantworten dies mit externer Expertise. Die durch „TECHNIK BEGEISTERT e.V.“ organisierte WRO bietet uns die Möglichkeit, mit wissenschaftlichen Methoden etwas über die Wirkung dieses Förderansatzes zu erfahren und für unsere eigene Arbeit zu nutzen. Ich hoffe, dass der Verein nachhaltig von den Evaluationsergebnissen profitiert – ebenso wie die Teilnehmenden von der WRO nachhaltig geprägt werden.

Ergebnisse unserer Befragungen während der WRO-Saison

Unabhängig von der Evaluationsstudie hat unser Verein in den letzten Jahren bereits nach jedem regionalen Wettbewerb und nach dem Deutschlandfinale eine Online-Umfrage durchgeführt, an der fast 50% der Team-Coaches teilgenommen haben. Einige Ergebnisse dieser Umfrage sowie weitere Statistiken zum Wettbewerb zeigen die nachfolgenden Grafiken. Weitere Statistiken zum WRO-Wettbewerb findet ihr auch direkt auf unserer Statistik-Seite.

Zufriedenheit mit der WRO

Auszug aus der Online-Umfrage unter den Team-Coaches, Durchschnittswerte der Jahre 2017 bis 2019. Grafik Zufriedenheit mit der WRO

Entwicklung der Teilnehmerzahlen seit 2012

In den ersten Jahren nahmen auch Teams aus umliegenden europäischen Ländern, z.B. aus den Niederlanden, der Schweiz, Ungarn und Österreich, an der WRO in Deutschland teil. Mittlerweile gibt es die WRO dort als eigenen Wettbewerb. Grafik Teilnehmerzahlen

Wir fördern die Ingenieure von Morgen!

Mit unseren Projekten möchten wir dazu beitragen, mehr Kinder und Jugendliche für die MINT-Fächer (Mathematik, Informatik, Naturwissenschaft und Technik) zu begeistern. Im MINT-Nachwuchsbarometer 2019, veröffentlicht durch die Körber Stiftung, wird deutlich, dass Wettbewerbe immer beliebter werden. Gleichzeitig wird bei der Vielzahl vorhandener Angebote vorgeschlagen, bestehende Angebote genauer auf die Wirkung zu analysieren und erfolgreiche Modelle zu skalieren. Die Ergebnisse unserer Evaluationsstudie zeigen uns, dass wir mit unseren Aktivitäten rund um die World Robot Olympiad auf dem richtigen Weg sind und einen wertvollen Beitrag zur MINT-Nachwuchsförderung in Deutschland leisten.

Gleichzeitig sehen wir uns in den aktuellen gesellschaftlichen Entwicklungen in der hohen Bedeutung unserer Arbeit bestätigt. Im MINT-Herbstreport, eine Untersuchung im Auftrag von BDA, BDI, MINT Zukunft schaffen und Gesamtmetall, wird deutlich, dass weiterhin viele Fachkräfte im MINT-Bereich fehlen. Im Oktober 2019 gab es rund 430.000 offene Stellen in MINT-Berufen, besonders im Bereich der IT-Berufe steigt der Bedarf durch die fortschreitende Digitalisierung weiter an. Kinder und Jugendliche, die sich durch unsere Projekte schon früh und spielerisch vor allem für "I" (Informatik) und "T" (Technik) der MINT-Themen begeistern lassen, stehen viele berufliche Chancen offen.

MINT Herbstreport 2019 (BDA, BDI, MINT Zukunft schaffen und Gesamtmetall)

Markus Fleige

Ansprechpartner für die Organisation der WRO/Austragungsorte & Partnerschaften

markus.fleige[at]technik-begeistert.org +49 2373/9468398
+49 176/21110153