LSTM Hyperparameter Optimization: Impact of the Selection of Hyperparameters on Machine Learning Performance when applied to Time Series in Physical Systems

Publikationen: Thesis / Studienabschlussarbeiten und HabilitationsschriftenMasterarbeit

Autoren

Abstract

Diese Masterarbeit untersucht den Einsatz von genetischen Algorithmen zur Optimierung von Hyperparametern des maschinellen Lernens, insbesondere für den Anwendungsfall von Echtzeitdaten, welche in industriellen Prozessen anfallen. Der Einsatz und die Eignung der Kombination eines Algorithmus des maschinellen Lernens und einer Metaheuristik, welche unter dem Überbegriff der genetischen Algorithmen zusammengefasst wird, wird untersucht. Als Modell des maschinellen Lernens wird ein sogenannter Variational-Autoencoder, welcher über Schichten des langen Kurzzeitgedächtnisses verfügt, verwendet. Der Rückgabewert dieses Modelles ist der Rekonstruktionsfehler. Da dieser nicht normalverteilt ist, wird für die Anomaliedetektion eine spezielle Art des Boxplots für schiefe, nicht normalverteilte Daten verwendet. Eine neue Variation des genetischen Algorithmus mit maximal einer Evaluation pro Individuum und Teilmenge wird zur Laufzeitreduktion vorgestellt. Damit lässt sich darüber hinaus auch das benötigte Expertenwissen, welches bei manuellen Ansätzen der Hyperparameteroptimierung benötigt wird, vermindern. Weiters wird die Kombination zweier Kreuzungsfunktionen eingeführt, um eine bessere Untersuchung guter Regionen des Suchraumes zu gewährleisten. Für die Ausreißererkennung werden Methoden des unüberwachten Lernens eingesetzt. Für die Hyperparameteroptimierung und das Trainieren des Netzwerkes werden nur fehlerfreie Daten verwendet. Nach diesem Schritt wird das damit trainierte Netzwerk auf den gesamten Datensatz angewandt. Diese Vorgehensweise verbessert die Performance der Anwendung auf Daten mit einem unausgewogenen Verhältnis zwischen gewöhnlichen Daten und Ausreißern. Der entwickelte Ansatz wurde erfolgreich auf Daten, welche in einem industriellen Prozess erhoben wurden, angewandt.

Details

Titel in ÜbersetzungLSTM Hyperparameteroptimierung: Der Einfluss von Hyperparametern auf die Performance des maschinellen Lernens in Bezug auf Zeitreihen physikalischer Prozesse
OriginalspracheEnglisch
QualifikationDipl.-Ing.
Gradverleihende Hochschule
Betreuer/-in / Berater/-in
Datum der Bewilligung25 Juni 2021
StatusVeröffentlicht - 2021