Use and limitations of various metrics to assess the quality of extreme sparse datasets in geotechnics

Publikationen: Thesis / Studienabschlussarbeiten und HabilitationsschriftenMasterarbeit

Autoren

Abstract

In der Datenwissenschaft und Statistik sind Metriken die Maßstäbe für eine quantitative Bewertung von Datensätzen. Beim maschinellen Lernen (ML) werden Metriken verwendet, um die Leistung eines Modells während des Trainings und der Tests zu überwachen (daher manchmal als "Leistungsmetriken" bezeichnet), indem ein Abstand zwischen den vorhergesagten und den tatsächlichen Ergebnissen berechnet wird. Alle ML-Modelle benötigen eine Metrik, um die Genauigkeit des Modells bei der Abbildung der Eingaben X auf die Ausgaben y zu ermitteln. Die ML-Aufgabe kann eine Klassifizierung oder eine Regression sein, daher die Leistungsmetriken. Klassifizierung ist eine überwachte Lernmethode, die qualitative Antworten vorhersagt. Ein Klassifizierungsproblem erfordert, dass Beispiele in eine endliche Anzahl von Klassen eingeteilt werden. Bei der Klassifizierung werden also die Eingabevariablen auf diskrete Ausgabevariablen abgebildet. Regression ist eine überwachte Lernmethode zur Bestimmung der Beziehung zwischen unabhängigen Variablen X und abhängigen Variablen y. Das Regressionsmodell ordnet die Eingabevariablen einer oder mehreren kontinuierlichen Ausgabevariablen zu. Für beide Probleme gibt es verschiedene Metriken. Um nur einige zu nennen: Regressionsmetriken: mittlerer absoluter Fehler, mittlerer quadratischer Fehler, mittlerer quadratischer Wurzelfehler, R2; Klassifizierungsmetriken: Genauigkeit, Präzisions-/Recall-Kombinationen, AUROC (Area under Receiver Operating Characteristics Curve). Um zu verstehen, wie nah die Ergebnisse an den Zielen von Forschungs- und Entwicklungsprojekten sind, ist die Wahl einer geeigneten Bewertungsmetrik für jede Klasse von ML entscheidend. Im Bereich des Geoengineering weisen die Datensätze oft eine extreme Spärlichkeit und Beobachtungshäufigkeit auf (z. B. seltene Ereignisse). Daher erfordert die Anwendung beider ML-Aufgaben auf solche Daten eine spezielle Vorverarbeitung (z. B. Unterabtastung, Überabtastung, Komprimierung). Nachdem ML-Modelle auf vorverarbeiteten Daten trainiert wurden, muss ihre Leistung anhand einer Metrik bewertet werden, die eine möglichst umfassende Bewertung der Ergebnisse ermöglicht.

Details

Titel in ÜbersetzungVerwendung und Grenzen verschiedener Metriken zur Bewertung der Qualität extrem spärlicher Datensätze in der Geotechnik
OriginalspracheEnglisch
QualifikationDipl.-Ing.
Gradverleihende Hochschule
Betreuer/-in / Berater/-in
Datum der Bewilligung31 März 2023
DOIs
StatusVeröffentlicht - 2023