TU Ilmenau:
Wissenschaftlern der TU Ilmenau ist es gelungen, die Genauigkeit von Datenauswertungen zur Vorhersage von unter anderem Wettereignissen um bis zu 80 Prozent zu verbessern. In der wissenschaftlichen Publikation „Flipped Classroom – Effective Teaching for Time Series Forecasting“, die im Oktober veröffentlicht wurde, stellen Prof. Patrick Mäder, Leiter des Fachgebiets Data-intensive Systems and Visualization, und Philipp Teutsch, wissenschaftlicher Mitarbeiter am gleichen Fachgebiet, ihre Forschungsergebnisse zum Training von Rekurrenten Neuronalen Netzen vor. Dabei kombinierten sie unterschiedliche Trainingsmethoden des Machine Learnings, um Fehler bei der Auswertung von großen Datenmengen zu minimieren.
Künstliche neuronale Netze sind aus unserem Alltag kaum mehr wegzudenken: In Sprachassistenten, in Übersetzungs- oder Simulationssoftware verarbeitet die Machine Learning-Technologie Daten in einer Vielzahl von Anwendungen. Das Prinzip hinter der auf Künstlicher Intelligenz (KI) basierten Informationsauswertung beruht auf Neuronen, die knotenartig in einem Netz miteinander verbunden sind. Sie nehmen Informationen auf, verarbeiten und werten diese aus. Künstliche Netze folgen damit dem Vorbild des menschlichen Gehirns, können jedoch Zusammenhänge auswerten, die für den Menschen häufig nicht erkennbar wären.
Damit neuronale Netze in die Lage versetzt werden, Daten auszuwerten, müssen sie zunächst trainiert werden. In der von Professor Mäder entwickelten App zur Pflanzenbestimmung, Flora Incognita, werden beispielsweise Millionen von Pflanzenbildern mit der entsprechenden Zuordnung in die App eingespeist. Darauf folgt ein langer und komplexer Optimierungsprozess, in dem das System lernt, die Pflanzen selbstständig zu erkennen und Fehler auszubessern. Daten wie Zahlenreihen, wie etwa aufeinander folgende Tage in der Wettervorhersage, stellen jedoch eine höhere Anforderung an die KI. Wissenschaftler arbeiten in diesem Zusammenhang mit so genannten Rekurrenten Neuronalen Netzen (RNN) – einer besonderen Form der neuronalen Netze, bei denen die Neuronen rückgekoppelt sind. Bei der Verarbeitung von Zahlenreihen stehen so dem Netz zu jedem Zeitpunkt Kontextinformationen früherer Datenpunkte zur Verfügung. Prof. Patrick Mäder erklärt: „Schauen wir uns die Wettervorhersage als Beispiel einer langen Zahlenreihe an, stellen wir fest, dass ihre Prognose sehr fehleranfällig ist. Errechnen die RNN einen Temperaturwert für den nächsten Tag, wird dieser Wert sogleich als Basis für den darauf folgenden Tag verwendet. Sollte jedoch die erste Berechnung nicht stimmen, ist die gesamte Vorhersage falsch.“
Neuartige Trainingsmethode verhindert Lernabbruch
Die Trainingsmethoden der Wissenschaftler sind daher darauf ausgerichtet, das Risiko einer fehlerhaften Berechnung zu minimieren. Dafür verwenden sie in so genannten Curriculum-Learning-Strategien eine Kombination aus zwei Trainingsmethoden – dem Free Running Tranining sowie dem Teacher Forcing. In der ersten Variante wird das Netz bereits ab dem ersten Trainingsschritt vollständig seinen eigenen Fehlern ausgesetzt und muss selbstständig lernen, sie zu kompensieren. Beim Teacher Forcing hingegen greift ein Lehrer in jedem Trainingsschritt ein und korrigiert sofort die Fehler der Netze. Auf diese Weise werden entstandene Vorhersagefehler unterdrückt, bevor sie sich in der Zeitreihe festsetzen und verstärken können.
In ihrer Publikation betrachten Prof. Patrick Mäder und Philipp Teutsch eine neue Klasse der genannten Curriculum-Learning-Strategien, welche das Trainingsverhalten der Netze erheblich stabilisiert und einen vorzeitigen Abbruch des Lernprozesses weitgehend vermeidet. Die Wissenschaftler untersuchten, welche Kombination die Vorteile beider Trainingsmethoden bestmöglich vereint, wie Professor Mäder erläutert: „Mit unserer neuartigen Kombination beider Trainingsmethoden ist es uns erstmalig gelungen, die bisherigen Ergebnisse von Vorhersagen um bis zu 80 Prozent zu verbessern. Damit können wir früher und genauer Klimaveränderungen, Blühzeiten von Pflanzen oder Aktienkurse prognostizieren.“
Die Grundlagenforschung von Prof. Patrick Mäder und Philipp Teutsch wird an der TU Ilmenau schon jetzt in interdisziplinären Forschungsprojekten praktisch genutzt. In Kooperation mit Prof. Andreas Möckel und dem Fachgebiet für Kleinmaschinen wird ihre neuartige Methode zur Analyse von Motoren eingesetzt. Sie gibt Aufschluss darüber, wie lange ein Motor voraussichtlich einsatzfähig bleibt. Zudem ist das Fachgebiet Data-intensive Systems and Visualization Teil eines Konsortiums aus vier Fachgebieten – darunter Strömungsmechanik, Optimization-based Control und Technische Thermodynamik: Im von der Carl-Zeiss-Stiftung geförderten Forschungsprojekt „Deep Turb – Deep Learning in and of Turbulence“ werden RNNs eingesetzt, um besser voraussagen zu können, wie sich Strömungen verhalten.
Kontakt
Prof. Patrick Mäder, Leiter des Fachgebiets Data-intensive Systems and Visualization
Bild: Im interdisziplinären „Deep Turb“-Projekt werden neuronale Netze dazu eingesetzt, um besser voraussagen zu können, wie sich Strömungen verhalten. | © AdobeStock