Open Access

Simon Flutura

• The ubiquity of smart devices is increasingly shaping our daily lives. Data processing of natural communication with computers, the goal of Social Signal Processing, is also moving beyond controlled settings with the use of mobile computers. Instead of executing data collection in the lab, it is now realized ”in the wild”. This means that data can now be collected, processed and evaluated in everyday situations. The challenges of this thesis lie on the one hand in classical Social Signal Processing, transferred into ”the wild”, by studying laughter recognition. On the other hand challenges go beyond classical Social Signal Processing into affect recognition in relation to urban environments viewed in local climate zones. Throughout this thesis MobileSSI, an open source framework for real-time recognition of social signals is developed. It builds upon the well established SSI framework and thus provides multi-sensor data-recording, and machine-learning capabilities. MobileSSI bringsThe ubiquity of smart devices is increasingly shaping our daily lives. Data processing of natural communication with computers, the goal of Social Signal Processing, is also moving beyond controlled settings with the use of mobile computers. Instead of executing data collection in the lab, it is now realized ”in the wild”. This means that data can now be collected, processed and evaluated in everyday situations. The challenges of this thesis lie on the one hand in classical Social Signal Processing, transferred into ”the wild”, by studying laughter recognition. On the other hand challenges go beyond classical Social Signal Processing into affect recognition in relation to urban environments viewed in local climate zones. Throughout this thesis MobileSSI, an open source framework for real-time recognition of social signals is developed. It builds upon the well established SSI framework and thus provides multi-sensor data-recording, and machine-learning capabilities. MobileSSI brings those features to a variety of platforms (Android, Linux, Windows) and extends the capabilities of SSI with inter- active machine learning for increased personalization and privacy. Using rapid prototyping in configuration and mobile user interfaces, MobileSSI forms the technical contribution, that is employed throughout different scenarios ”in the wild”, to measure and improve wellbeing. As a first field of application, group enjoyment was considered as aspect of wellbeing. Mobile sensors were employed to recognize laughter based on accelerometer and audio data. Asynchronous fusion was used to aggregate laughter events also when they occur staggered. The technique led to live demonstration of group enjoyment recognition. Drink activity as representation of health related behavior in everyday living was used as a second scenario. Smartwatches were used to record and recognize drink activity. Since it is not feasible to annotate motion data, recorded with smartwatches retrospectively, the annotation process has to be adapted in such a way, that it can be executed ”in the wild”. Therefore, Interactive machine learning combined with Active Learning was implemented, to limit the labeling effort to selected data that has the biggest training effect for the machine learning model. Moreover, a user interface for a smart watch was created that allows the comfortable correction of predictions by the system. The evaluation of the system ”in the wild” was realized with bodystorming by users with a prototype. Bodystorming is a common practice in usability engineering with focus on embodied experience, to foster insights for the design and development process of technology. As a third scenario, mobile sensors were used to measure wellbeing in the context of urban forests in collaboration with the Institute of Geography of the University of Augsburg. In detail, physiological and audio data were analyzed for the recognition of local climate zones andthe users’ wellbeińg. The study is based on models of urban climate (heat, humidity). The contribution of this thesis includes the design and implementation of techniques and methods to collect and annotate environment-related data ”in the wild” that have been validated with users walking along routes comprising varying urban structural types.…
• Smartphones haben Einzug in unseren Alltag erhalten und bilden dort ein zunehmend unentbehrliches Werkzeug. Folglich findet auch die maschinelle Verarbeitung der natürlichen Kommunikation, im Forschungsgebiet der Mensch-Maschine-Interaktion (Social Signal Processing), zunehmend im Alltag statt. Die vorliegende Arbeit betrachtet zum einen das Verarbeiten sozialer Signale mit mobilen Geräten in Alltagssituationen („in the wild”). Dies geschieht etwa am Beispiel von Lacherkennung. Zum anderen wird darüber hinaus aber auch das Wohlbefinden des Nutzers in urbanen Räumen, aufgefasst als lokale Klimazonen, untersucht. Über den Verlauf dieser Arbeit wird MobileSSI entwickelt, ein Open-Source Framework zur Erkennung sozialer Signale in Echtzeit. Es basiert auf dem etablierten SSI Framework und bietet somit die synchronisierte Aufzeichnung mehrerer Sensoren und darauf basierendes maschinelles Lernen. MobileSSI bringt diese Funktionalität auf mehrere Platformen (Android, Linux, Windows) undSmartphones haben Einzug in unseren Alltag erhalten und bilden dort ein zunehmend unentbehrliches Werkzeug. Folglich findet auch die maschinelle Verarbeitung der natürlichen Kommunikation, im Forschungsgebiet der Mensch-Maschine-Interaktion (Social Signal Processing), zunehmend im Alltag statt. Die vorliegende Arbeit betrachtet zum einen das Verarbeiten sozialer Signale mit mobilen Geräten in Alltagssituationen („in the wild”). Dies geschieht etwa am Beispiel von Lacherkennung. Zum anderen wird darüber hinaus aber auch das Wohlbefinden des Nutzers in urbanen Räumen, aufgefasst als lokale Klimazonen, untersucht. Über den Verlauf dieser Arbeit wird MobileSSI entwickelt, ein Open-Source Framework zur Erkennung sozialer Signale in Echtzeit. Es basiert auf dem etablierten SSI Framework und bietet somit die synchronisierte Aufzeichnung mehrerer Sensoren und darauf basierendes maschinelles Lernen. MobileSSI bringt diese Funktionalität auf mehrere Platformen (Android, Linux, Windows) und erweitert SSI um interaktives maschinelles Lernen, das auch einen Mehrwert im Bezug auf Personalisierung und Privatsphäre bietet. Um MobileSSI in diversen Szenarien im Alltag als Komponente zum Erfassen und Steigern von Wohlbefinden einsetzen zu können, wird Rapidprototyping eingesetzt. Dadurch entstehen nicht nur Konfigurationen der Verarbeitungsabläufe, sondern auch Nutzerschnittstellen. In einem ersten Anwendungsszenario wurde das vergnügte Zusammensein in der Gruppe als Faktor für Wohlbefinden betrachtet. Dazu wurde der Einsatz mobiler Sensorik zur Lacherkennung - insbesondere Bewegungs- und Audiodaten - als Indikator für Vergnügen einer Gruppe sowie ein asynchrones Fusionsverfahren zur Integration möglicherweise zeitversetzter Lacher mehrerer Personen untersucht. Das Verfahren kam in einem Demonstrator zur Erkennung der Stimmung in einer Gruppe zum Einsatz. Als zweites Szenario wurde das Monitoring von gesundheitsrelevantem Verhalten im Alltag am Beispiel des Trinkverhaltens von Personen betrachtet. Hierzu wurde Trinkaktivität anhand von mit Smartwatches aufgezeichneten Armbewegungen erkannt. Da es nicht praktikabel ist, die für das maschinelle Lernen erforderlichen Bewegungsdaten im Nachhinein zu annotieren, wurde untersucht, wie sich Annotationsprozesse in den Alltag von Personen integrieren lassen. Durch den Einsatz von interaktivem maschinellen Lernen in Verbindung mit aktivem Lernen wurde zum einen der Arbeitsaufwand von Personen durch die Auswahl besonders relevanter Daten im Lernprozess verringert. Zum anderen wurde eine Nutzungsschnittstelle für eine Smartwatch entwickelt, die eine bequeme Korrektur von Systemvorhersagen im Alltag ermöglicht. Es wurde untersucht, inwieweit der Einsatz des integrierten DrinkWatch Systems im Alltag von Personen angenommen wird. Hierbei kam Bodystorming zum Einsatz, ein gängigesVerfahren aus dem Bereich Usability Engineering, das die Berücksichtigung körperlicher Erfahrungen betont, um Einsichten zur Entwicklung und zum Einsatz von Technologie zu gewinnen. In einem dritten Szenario wurde das Potential mobiler Sensorik zur Erfassung möglicher gesundheitsrelevanter Effekte von urbanen Waldstrukturen in Zusammenarbeit mit dem Institut für Geographie der Universität Augsburg erforscht. Konkret wurde untersucht, ob physiologische Signale und Audiodaten Aufschluss über die Umgebung und das Wohlbefinden des Nutzers erlauben. Grundlage bildete eine Modellierung des Klimas anhand von Temperatur und Luftfeuchtigkeit. Der Beitrag dieser Arbeit beinhaltet den Entwurf und die Umsetzung von Technologie und Methoden zum Erfassen und Annotieren von umweltbezogenen Daten in alltäglichen Situationen und wurde von Nutzern bei Begehungen von Routen mit unterschiedlichen Bebaungsformen und Bewuchs validiert.…