LoopyDenseNet: Combining Skip Connections, Dense Connectivity and Loops within a Convolutional Neural Network

Publikationen: Thesis / Studienabschlussarbeiten und HabilitationsschriftenMasterarbeit

Autoren

Abstract

Convolutional Neural Networks haben bemerkenswerte Ergebnisse bei der visuellen Objekterkennung erzielt. Mit Hilfe von Convolutional Layers wurden Netzwerke trainiert, um bestimmte Features zu erkennen, die es dem Netz ermöglichen, verschiedene Objekte korrekt zu klassifizieren. Ein traditionelles CNN folgt einer hierarchischen Struktur, bei der jede Schicht genau einmal verwendet wird. In dieser Arbeit wird eine neue Netzwerkarchitektur vorgestellt, bei der die Convolutional Layers mehrfach verwendet werden, indem sie in Schleifen zum Einsatz kommen. Auf diese Weise erhalten die nachfolgenden Convolutional Layers verfeinerte Feature-Maps unterschiedlicher Herkunft. Es wird experimentell gezeigt, dass das wiederholte Anwenden von Convolutional Operationen einen Verschiebungseffekt auf die erkannten Features haben kann, sodass sich das Netzwerk je nach Filter auf bestimmte Merkmale in bestimmten Regionen des Inputs konzentriert. Darüber hinaus wird eine neue Art von Skip-Connection verwendet, die mehr Informationen auf der Flatten-Schicht verfügbar macht und die Feature-Propagation verstärkt. Durch die Verwendung von Convolutional-Loops ist das Netzwerk sehr parameter-effizient und kann dennoch vielfältige Feature-Maps erstellen. Um tiefere Modelle mit der vorgeschlagenen Netzwerkarchitektur zu bauen, werden einige Methoden angegeben, um den Rechenaufwand und die Parameter zu reduzieren. Die vorgeschlagene Netzwerkarchitektur wird mit der traditionellen CNN-Architektur auf 5 verschiedenen Datensätzen (MNIST, Fashion-MNIST, CIFAR-10, Fruits-360, Hand gesture) verglichen und zeigt bessere oder ähnliche Ergebnisse bei den meisten Datensätzen bei vergleichbarem Rechenaufwand.

Details

Titel in ÜbersetzungLoopyDenseNet: Kombination von Skip-Connections, Dense Connectivity und Schleifen in einem Convolutional Neural Network
OriginalspracheEnglisch
QualifikationDipl.-Ing.
Gradverleihende Hochschule
Betreuer/-in / Berater/-in
Datum der Bewilligung1 Juli 2022
StatusVeröffentlicht - 2022