Open Access

Michael Dietz

• Cognitive processes are the foundation for all our abilities, thoughts, and actions. They enable us to perceive our surroundings, remember details about past events, retain large amounts of knowledge, and work out solutions for complex problems. While these processes are typically performed almost effortlessly and without much conscious awareness, we only realize their importance when they no longer function as expected. In these cases, impairments and disorders of cognitive processes can severely impact the lives of affected individuals and their families. Potential consequences can range from difficulties performing everyday tasks to the complete loss of personal independence. However, supporting these conditions can be rather challenging since they often manifest in different ways and require specialized solutions tailored to the specific circumstances of individuals, which can be expensive and time-consuming. Fortunately, recent technological advancements of mobile and wearableCognitive processes are the foundation for all our abilities, thoughts, and actions. They enable us to perceive our surroundings, remember details about past events, retain large amounts of knowledge, and work out solutions for complex problems. While these processes are typically performed almost effortlessly and without much conscious awareness, we only realize their importance when they no longer function as expected. In these cases, impairments and disorders of cognitive processes can severely impact the lives of affected individuals and their families. Potential consequences can range from difficulties performing everyday tasks to the complete loss of personal independence. However, supporting these conditions can be rather challenging since they often manifest in different ways and require specialized solutions tailored to the specific circumstances of individuals, which can be expensive and time-consuming. Fortunately, recent technological advancements of mobile and wearable devices present a promising opportunity to build assistive applications that can help mitigate the impact of cognitive impairments and disorders. With their ubiquitous presence, integrated sensors, and increasing computational power, these devices offer an ideal platform to provide timely and context-aware assistance. Consequently, this thesis investigates how their capabilities can be utilized to address the challenges associated with supporting cognitive processes. To this end, we follow the assistive augmentation paradigm, which advocates for developing technology that considers the needs and circumstances of individuals. Based on a thorough conceptual analysis of previous works to identify shared properties and strategies, common design dimensions are derived to classify existing approaches and guide the development of future applications. Informed by these conceptual findings, a flexible and easily usable software framework is proposed that combines the growing capabilities of mobile devices with advanced signal processing techniques. It enables the rapid prototyping and implementation of assistive augmentation systems to support individuals affected by impairments and disorders of cognitive processes. Additionally, this thesis demonstrates the feasibility and evaluates the effectiveness of the proposed conceptual and technical solutions with empirical research probes in real-world settings. Each of them illustrates the complete workflow of designing, implementing, prototyping, and testing assistive augmentation systems with the proposed framework and showcases how to support various mental conditions, including visual impairment, memory decline, and cognitive disorders.…
• Kognitive Prozesse bilden die Grundlage für alle unsere Gedanken, Fähigkeiten und Handlungen. Sie ermöglichen uns die Wahrnehmung der Umgebung, die Erinnerung an Details vergangener Ereignisse, die Speicherung großer Mengen von Wissen und die Lösung komplexer Probleme. Während diese Prozesse in der Regel fast mühelos und größtenteils unterbewusst ablaufen, wird uns ihre Bedeutung erst bewusst, sobald sie nicht mehr wie erwartet funktionieren. In diesen Fällen können kognitive Störungen und Erkrankungen das Leben von Betroffenen und ihrer Familien sehr stark beeinträchtigen. Mögliche Folgen reichen von Schwierigkeiten bei der Bewältigung alltäglicher Aufgaben bis hin zum vollständigen Verlust der persönlichen Unabhängigkeit. Die Unterstützung von betroffenen Personen kann sich jedoch als relativ schwierig erweisen, da die Erkrankungen häufig mit unterschiedlichen Symptomen auftreten und spezialisierte Lösungen erfordern, deren Entwicklung zeitaufwendig und kostspielig seinKognitive Prozesse bilden die Grundlage für alle unsere Gedanken, Fähigkeiten und Handlungen. Sie ermöglichen uns die Wahrnehmung der Umgebung, die Erinnerung an Details vergangener Ereignisse, die Speicherung großer Mengen von Wissen und die Lösung komplexer Probleme. Während diese Prozesse in der Regel fast mühelos und größtenteils unterbewusst ablaufen, wird uns ihre Bedeutung erst bewusst, sobald sie nicht mehr wie erwartet funktionieren. In diesen Fällen können kognitive Störungen und Erkrankungen das Leben von Betroffenen und ihrer Familien sehr stark beeinträchtigen. Mögliche Folgen reichen von Schwierigkeiten bei der Bewältigung alltäglicher Aufgaben bis hin zum vollständigen Verlust der persönlichen Unabhängigkeit. Die Unterstützung von betroffenen Personen kann sich jedoch als relativ schwierig erweisen, da die Erkrankungen häufig mit unterschiedlichen Symptomen auftreten und spezialisierte Lösungen erfordern, deren Entwicklung zeitaufwendig und kostspielig sein kann. Allerdings stellen die technologischen Fortschritte der vergangenen Jahre im Bereich mobiler Endgeräte und tragbarer Sensoren eine vielversprechende Grundlage für die Entwicklung unterstützender Anwendungen dar, die den negativen Auswirkungen kognitiver Störungen und Beeinträchtigungen entgegenwirken können. Dank ihrer kontinuierlich steigenden Rechenleistung, allgegenwärtigen Verfügbarkeit und integrierten Sensorik bilden sie eine ideale Plattform für die zeitnahe Bereitstellung kontextbezogener Assistenz. Im Rahmen dieser Arbeit wird daher untersucht, wie die Funktionen und Ressourcen mobiler Geräte genutzt werden können, um die mit der Unterstützung von kognitiven Prozessen verbundenen Herausforderungen zu bewältigen. Zu diesem Zweck wird das Prinzip der assistiven Augmentierung angewendet, welches sich für die Berücksichtigung der Anforderungen und Bedürfnisse von Individuen bei der Entwicklung neuer Technologien einsetzt. Basierend auf einer umfangreichen konzeptionellen Analyse vorangegangener Arbeiten zur Identifizierung gemeinsamer Eigenschaften und Strategien werden allgemeine Dimensionen abgeleitet, um bestehende Ansätze zu klassifizieren und die Entwicklung künftiger Anwendungen zu erleichtern. Aufbauend auf diesen konzeptionellen Erkenntnissen wird ein flexibles und einfach zu verwendendes Software-Framework vorgestellt, welches die zunehmenden Fähigkeiten mobiler Endgeräte mit fortschrittlichen Signalverarbeitungsverfahren kombiniert. Neben der zeitnahen Erstellung von Prototypen ermöglicht es die Implementierung vollwertiger Augmentierungssysteme zur Unterstützung von Personen mit kognitiven Einschränkungen und Erkrankungen. Darüber hinaus wird im Rahmen dieser Arbeit die praktische Anwendbarkeit und Effektivität der vorgestellten konzeptionellen und technischen Lösungen anhand von empirischen Studien mit betroffenen Personen in natürlichen Umgebungen evaluiert. Jede dieser Forschungsstichproben veranschaulicht dabei den vollständigen Ablauf von der Konzeption über die Prototypenerstellung und Implementierung bis hin zur Validierung der entwickelten assistiven Augmentierungssysteme und demonstriert, wie das vorgestellte Framework zur Unterstützung verschiedener kognitiver Bedingungen, einschließlich Sehbehinderungen, Gedächtnisstörungen und psychischer Erkrankungen verwendet werden kann.…