Efficient calculation of probability metrics of the f-E-class

  • Throughout this thesis, we introduce the class of \fE-metrics, a parameterizable class of metrics for probability distributions, containing the Prokhorov and \winf{} metrics. Starting with the theoretical foundations, we show the similarities and differences between the latter two metrics and explore the two topologies the \fE-class induces. This provides a joint framework for the previously mostly independently considered metrics, highlighting their connections. Figuratively speaking, this is a way of comparing how much mass has to be transported how far to transform one distribution into the other. The \fE-metric is then attained at the balance of the distance and the $ f $-weighted mass. In contrast to the Wasserstein-p metric, which averages all transported mass together with the distances, \fE-metrics are only considering a cutoff point. In Proposition 2.5.1 and Proposition 2.5.2, we provide two generally valid algorithms for the exact computation of the distance of finite supportThroughout this thesis, we introduce the class of \fE-metrics, a parameterizable class of metrics for probability distributions, containing the Prokhorov and \winf{} metrics. Starting with the theoretical foundations, we show the similarities and differences between the latter two metrics and explore the two topologies the \fE-class induces. This provides a joint framework for the previously mostly independently considered metrics, highlighting their connections. Figuratively speaking, this is a way of comparing how much mass has to be transported how far to transform one distribution into the other. The \fE-metric is then attained at the balance of the distance and the $ f $-weighted mass. In contrast to the Wasserstein-p metric, which averages all transported mass together with the distances, \fE-metrics are only considering a cutoff point. In Proposition 2.5.1 and Proposition 2.5.2, we provide two generally valid algorithms for the exact computation of the distance of finite support distributions of size $ m \geq n $. Obtaining a worst case complexity of $ \Ocal \left( m n ^2 \log(m) \right) $, the computation of the \fE-class is instantly on par with the well researched Wasserstein-p metric. We further introduce for the first time quasi-convex metrics, a concept linking metric and ordered spaces. This allows for sorting the supports of our probability distributions in corresponding metric spaces while keeping a strong link with the underlying metric. The theoretical foundation lies within Monge sequences, which we cover throughout this thesis. Combining these, we can significantly improve the general complexity to quasi-linearity for the Prokhorov and \winf{} metric. We proof correctness and worst case complexities for all algorithms, setting them on par with the Wasserstein-p metric. In detail, we obtain a general complexity of $ \Ocal \left( m n ^2 \log(m) \right) $ and refined for the quasi-convex case to a strongly quasi-linear $ \Ocal \left(m \log(m)\right) $ for the \winf{} metric in Corollary 4.2.18 and a weakly quasi-linear $ \Ocal \left(m \max\{\log(m), \frac{1}{acc_X}\}\right) $ depending on the support of the distributions for the Prokhorov metric in Theorem 4.1.12. We compare the \fE-class with existing metrics to embed it in the current tool set and show their relationships. We conclude with a numerical analysis of our algorithms to check correctness and complexity based on implementations in MATLAB. In total, we have newly developed a broad class of probability metrics, containing the well known Prokhorov and \winf{} metric, analyzed their theoretical properties and provided a comprehensive set of exact and efficient algorithms for their computation for finitely supported measures.show moreshow less
  • In dieser Arbeit führen wir die Klasse der \fE-Metriken ein, eine parametrisierbare Klasse von Metriken für Wahrscheinlichkeitsverteilungen, die die Prokhorov und \winf{}-Metriken enthält. Beginnend mit den theoretischen Grundlagen zeigen wir die Gemeinsamkeiten und Unterschiede zwischen letzteren beiden Metriken und untersuchen die zwei induzierten Topologien, die die \fE-Klasse enthält. Damit wird ein gemeinsamer Rahmen für die bisher meist unabhängig voneinander betrachteten Metriken geschaffen und ihre Zusammenhänge verdeutlicht. Bildlich gesprochen wird hierbei verglichen, wie viel Masse wie weit transportiert werden muss, um eine Verteilung in die andere zu transformieren. Die \fE-Metrik ergibt sich dann aus dem Gleichgewicht zwischen der Entfernung und der mit f-gewichteten Masse. Im Gegensatz zur Wasserstein-$ p $ Metrik, die die gesamte transportierte Masse zusammen mit den Entfernungen mittelt, wird bei der \fE-Metrik nur ein Trennpunkt betrachtet. In Proposition 2.5.1 undIn dieser Arbeit führen wir die Klasse der \fE-Metriken ein, eine parametrisierbare Klasse von Metriken für Wahrscheinlichkeitsverteilungen, die die Prokhorov und \winf{}-Metriken enthält. Beginnend mit den theoretischen Grundlagen zeigen wir die Gemeinsamkeiten und Unterschiede zwischen letzteren beiden Metriken und untersuchen die zwei induzierten Topologien, die die \fE-Klasse enthält. Damit wird ein gemeinsamer Rahmen für die bisher meist unabhängig voneinander betrachteten Metriken geschaffen und ihre Zusammenhänge verdeutlicht. Bildlich gesprochen wird hierbei verglichen, wie viel Masse wie weit transportiert werden muss, um eine Verteilung in die andere zu transformieren. Die \fE-Metrik ergibt sich dann aus dem Gleichgewicht zwischen der Entfernung und der mit f-gewichteten Masse. Im Gegensatz zur Wasserstein-$ p $ Metrik, die die gesamte transportierte Masse zusammen mit den Entfernungen mittelt, wird bei der \fE-Metrik nur ein Trennpunkt betrachtet. In Proposition 2.5.1 und Proposition 2.5.2 stellen wir zwei allgemeingültige Algorithmen für die exakte Berechnung des Abstands von Wahrscheinlichkeitsverteilungen mit endlichen Trägern der Größen $ m \geq n $ vor. Mit einer Worst-Case-Komplexität von $ \Ocal \left( m n ^2 \log(m) \right) $ ist die Berechnung der \fE-Klasse somit aus dem Stand gleichwertig mit der gut erforschten Wasserstein-p Metrik. Weiterhin führen wir als Erste quasikonvexe Metriken ein, ein Konzept, das metrische und geordnete Räume miteinander verbindet. Dies erlaubt es uns, die Träger unserer Wahrscheinlichkeitsverteilungen in entsprechenden metrischen Räumen zu ordnen und dabei eine starke Verbindung mit der zugrundeliegenden Metrik zu bewahren. Die theoretische Grundlage hierfür bieten Monge-Folgen, die wir ebenfalls in dieser Arbeit behandeln. Indem wir diese kombinieren, können wir die allgemeine Komplexität deutlich verbessern und erhalten Quasi-Linearität für die Prokhorov und \winf{} Metrik. Wir beweisen Korrektheit und Worst-Case-Komplexität für alle Algorithmen und erhalten die selben Komplexitäten wie für die Wasserstein-p Metrik. Im Detail erhalten wir eine allgemeine Komplexität von $ \Ocal \left( m n ^2 \log(m) \right) $ und verbessern diese für den quasi-konvexen Fall zu einem stark quasi-linearen $ \Ocal \left(m \log(m)\right) $ für die \winf{}-Metrik in Corollary 4.2.18 und einem schwach quasi-linearen $ \Ocal \left(m \max\{\log(m), \frac{1}{acc_X}\}\right) $ in Abhängigkeit vom Träger der Verteilungen für die Prokhorov Metrik in Theorem 4.1.12. Wir vergleichen die \fE-Klasse mit bestehenden Metriken und zeigen ihre Relation zu diesen. Wir schließen mit einer numerischen Analyse unserer Algorithmen zur Überprüfung der Korrektheit und Komplexität anhand von Implementierungen in MATLAB ab. Insgesamt haben wir in dieser Arbeit eine breite Klasse von Wahrscheinlichkeitsmetriken neu entwickelt, die die bekannten Prokhorov und \winf{} Metriken enthält, ihre theoretischen Eigenschaften analysiert und einen umfassenden Satz von exakten und effizienten Algorithmen für deren Berechnung für Wahrscheinlichkeitsverteilungen mit endlichem Träger vorgestellt.show moreshow less

Download full text files

Export metadata

Statistics

Number of document requests

Additional Services

Share in Twitter Search Google Scholar
Metadaten
Author:Christian DrescherORCiD
URN:urn:nbn:de:bvb:384-opus4-915791
Frontdoor URLhttps://opus.bibliothek.uni-augsburg.de/opus4/91579
Advisor:Ralf Werner
Type:Doctoral Thesis
Language:English
Year of first Publication:2022
Publishing Institution:Universität Augsburg
Granting Institution:Universität Augsburg, Mathematisch-Naturwissenschaftlich-Technische Fakultät
Date of final exam:2021/10/12
Release Date:2022/02/03
Tag:Prokhorov-Metrik; Wasserstein-Metrik; Monge-Sequenz
Probability metrics; Wasserstein metric; Prokhorov metric; Monge sequence
GND-Keyword:Wahrscheinlichkeitsmetrik; Wahrscheinlichkeitsverteilung; Metrischer Raum
Pagenumber:xii, 104
Institutes:Mathematisch-Naturwissenschaftlich-Technische Fakultät
Mathematisch-Naturwissenschaftlich-Technische Fakultät / Institut für Mathematik
Mathematisch-Naturwissenschaftlich-Technische Fakultät / Institut für Mathematik / Lehrstuhl für Rechnerorientierte Statistik und Datenanalyse
Dewey Decimal Classification:5 Naturwissenschaften und Mathematik / 51 Mathematik / 510 Mathematik
Licence (German):Deutsches Urheberrecht mit Print on Demand