Open Access

Silvan Mertes

• Generative Artificial Intelligence has become part of our everyday lives. Nowadays, it is difficult to not get in contact with generative technologies - be it in the form of writing assistants, image generation tools, or even personal assistants. However, Generative AI is not yet leveraged to its full potential. There are lots of directions that can benefit from such systems, but many of them are still under-researched. Generative Adversarial Networks (GANs) in particular have technically matured over the last years, while systems and approaches that use those models are still in their infancy. In this thesis, five topic areas are identified that can be substantially enhanced by GANs. Those areas are Robustness of AI Systems, Explainability of AI Systems, Expressiveness of AI Systems, Feedback Synthesis and Interaction with AI. The thesis then introduces concepts, technical approaches and user studies that investigate how GANs can be used in those areas. Approaches for usingGenerative Artificial Intelligence has become part of our everyday lives. Nowadays, it is difficult to not get in contact with generative technologies - be it in the form of writing assistants, image generation tools, or even personal assistants. However, Generative AI is not yet leveraged to its full potential. There are lots of directions that can benefit from such systems, but many of them are still under-researched. Generative Adversarial Networks (GANs) in particular have technically matured over the last years, while systems and approaches that use those models are still in their infancy. In this thesis, five topic areas are identified that can be substantially enhanced by GANs. Those areas are Robustness of AI Systems, Explainability of AI Systems, Expressiveness of AI Systems, Feedback Synthesis and Interaction with AI. The thesis then introduces concepts, technical approaches and user studies that investigate how GANs can be used in those areas. Approaches for using GANs to augment datasets are introduced to improve the robustness of AI systems. It is proposed how GANs can be used to synthesize realistic visual explanations that make use of the principles of counterfactual reasoning in order to foster explainability of AI systems. It is presented how GANs can be used to make AI more expressive by synthesizing continuously conditioned images without the need for continuously labeled training data. Approaches are introduced that provide personalized visual and textual feedback for a job interview training system. Finally, it is shown how GANs can be used build interactive systems that can counteract stress. As such, the contributions of this thesis aim to showcase the potential of GANs in a wide range of research fields.…
• Generative Künstliche Intelligenz ist mittlerweile ein fester Bestandteil unseres Alltags. Heutzutage ist es schwierig, nicht mit generativen Technologien in Kontakt zu kommen – sei es in Form von Schreibassistenten, Werkzeugen zur Bildgenerierung oder sogar persönlichen Assistenten. Dennoch wird das Potenzial solcher Technologien noch längst nicht vollständig ausgeschöpft. Es gibt viele Möglichkeiten, wie diverse Forschungsfelder von solchen Systemen profitieren könnten, aber vieles davon ist noch kaum erforscht. Insbesondere Generative Adversarial Networks (GANs) haben sich in den letzten Jahren technisch stark weiterentwickelt, während Systeme und Ansätze, die diese Modelle nutzen, noch in den Kinderschuhen stecken. In dieser Arbeit werden fünf Themenbereiche identifiziert, die durch den Einsatz von GANs erheblich vorangebracht werden können. Diese Bereiche sind: Robustheit von KI-Systemen, Erklärbarkeit von KI-Systemen, Expressivität von KI-Systemen, Feedback-GenerierungGenerative Künstliche Intelligenz ist mittlerweile ein fester Bestandteil unseres Alltags. Heutzutage ist es schwierig, nicht mit generativen Technologien in Kontakt zu kommen – sei es in Form von Schreibassistenten, Werkzeugen zur Bildgenerierung oder sogar persönlichen Assistenten. Dennoch wird das Potenzial solcher Technologien noch längst nicht vollständig ausgeschöpft. Es gibt viele Möglichkeiten, wie diverse Forschungsfelder von solchen Systemen profitieren könnten, aber vieles davon ist noch kaum erforscht. Insbesondere Generative Adversarial Networks (GANs) haben sich in den letzten Jahren technisch stark weiterentwickelt, während Systeme und Ansätze, die diese Modelle nutzen, noch in den Kinderschuhen stecken. In dieser Arbeit werden fünf Themenbereiche identifiziert, die durch den Einsatz von GANs erheblich vorangebracht werden können. Diese Bereiche sind: Robustheit von KI-Systemen, Erklärbarkeit von KI-Systemen, Expressivität von KI-Systemen, Feedback-Generierung und Interaktivität in KI-Systemen. Die Arbeit stellt Konzepte, technische Ansätze und Nutzerstudien vor, die untersuchen, wie GANs in diesen Bereichen eingesetzt werden können. Ansätze zur Nutzung von GANs zur Erweiterung von Datensätzen werden eingeführt, um die Robustheit von KI-Systemen zu verbessern. Es wird vorgeschlagen, wie GANs genutzt werden können, um realistische visuelle Erklärungen zu erzeugen, die auf den Prinzipien kontrafaktischen Denkens basieren, um die Erklärbarkeit von KI-Systemen zu fördern. Es wird gezeigt, wie GANs verwendet werden können, um KI-Systeme ausdrucksfähiger zu machen, indem kontinuierlich konditionierte Bilder generiert werden, ohne auf kontinuierlich annotierte Trainingsdaten angewiesen zu sein. Es werden Ansätze vorgestellt, die personalisiertes textuelles und visuelles Feedback für ein Bewerbungsgesprächs-Trainingssystem bereitstellen. Schließlich wird gezeigt, wie GANs genutzt werden können, um interaktive Anwendungen zur Stressbewältigung zu entwickeln. Die Beiträge dieser Arbeit zielen darauf ab, das Potenzial von GANs in einer breiten Palette von Forschungsfeldern aufzuzeigen.…