Geometry Regularization in Neural Networks
Diese Dissertation leistet Beiträge zur Verbindung der klassischen mathematischen Gebiete der Variationsrechnung und der Riemannschen Geometrie mit dem Gebiet des Deep Learning im Kontext des Manifold Learning. Um eine Abbildung von einem hochdimensionalen Beobachtungsraum auf einen niedrigdimension...
Verfasser: | |
---|---|
Weitere Beteiligte: | |
FB/Einrichtung: | FB 10: Mathematik und Informatik |
Dokumenttypen: | Dissertation/Habilitation |
Medientypen: | Text |
Erscheinungsdatum: | 2024 |
Publikation in MIAMI: | 23.07.2024 |
Datum der letzten Änderung: | 24.07.2024 |
Angaben zur Ausgabe: | [Electronic ed.] |
Schlagwörter: | Regularisierung; Manifold Learning; Autoencoder; Gamma-Konvergenz; Dimensionsreduktion; Variationsrechnung; Riemannsche Geometrie regularization; manifold learning; autoencoder; Gamma-convergence; dimension reduction; calculus of variations; Riemannian geometry |
Fachgebiet (DDC): | 004: Datenverarbeitung; Informatik
510: Mathematik 515: Analysis |
Lizenz: | CC BY 4.0 |
Sprache: | Englisch |
Hochschulschriftenvermerk: | Münster (Westfalen), Univ., Diss., 2024 |
Förderung: | Förderer: Deutsche Forschungsgemeinschaft / Projektnummer: 390685587 |
Format: | PDF-Dokument |
URN: | urn:nbn:de:hbz:6-95998563600 |
Weitere Identifikatoren: | DOI: 10.17879/06908610660 |
Permalink: | https://nbn-resolving.de/urn:nbn:de:hbz:6-95998563600 |
Onlinezugriff: | diss_braunsmann_2024.pdf |
Diese Dissertation leistet Beiträge zur Verbindung der klassischen mathematischen Gebiete der Variationsrechnung und der Riemannschen Geometrie mit dem Gebiet des Deep Learning im Kontext des Manifold Learning. Um eine Abbildung von einem hochdimensionalen Beobachtungsraum auf einen niedrigdimensionalen latenten Raum zu lernen, wird ein Regularisierungsfunktional entwickelt, das isometrische und extrinsisch flache Einbettungen begünstigt. Das Funktional verwendet den geodätischen Abstand zweier Punkte und ihren geodätischen Durchschnitt und hängt von einem Radius ab, der den maximalen Abstand der verwendeten Punktpaare bestimmt. Das Hauptergebnis der Arbeit ist die Gamma-Konvergenz des Funktionals gegen ein lokales Grenzwertfunktional, das von isometrischen Einbettungen mit geringer extrinsischer Krümmung minimiert wird. Um mit einer gekrümmten latenten Mannigfaltigkeit umzugehen, wird eine Methode zum Lernen einer impliziten Repräsentation dieser vorgestellt, welche verwendet werden kann, um Geodäten zu berechnen, die im Gegensatz zur linearen Interpolation die Mannigfaltigkeit nicht verlassen.
This thesis makes contributions to connecting the classical mathematical fields of calculus of variations and Riemannian geometry with the field of deep learning in the context of manifold learning. To learn a mapping from a high-dimensional observation space to a low-dimensional latent space, a novel regularization functional that favors isometric and extrinsically flat embeddings is designed. The functional uses the geodesic distance between two points and their geodesic average and depends on a sampling radius that determines the maximum distance between point pairs used. The main result of the thesis is the Gamma-convergence of the functional to a local limit functional, which is minimized by isometric embeddings with low extrinsic bending. To handle a curved latent manifold, a method for learning an implicit representation of it is presented, which can be used to compute geodesics that, in contrast to linear interpolation, do not leave the manifold.