Open Access

Johann Frei

• Processing free-form text in the medical domain is notoriously challenging, particularly when dealing with German text. Recent advancements in data-driven machine learning for Natural Language Processing (NLP), especially with transformer-based language models, have proven to be effective in processing such text. However, the success of these approaches heavily depends on access to large, high-quality datasets, which is a major hurdle in the medical field. Privacy concerns and strict access regulations impose substantial restrictions on the availability of medical data, hindering progress in this research area. Additionally, the German language has received comparatively less attention in NLP research, resulting in fewer resources and tools for processing German medical texts. From a practical perspective, the need for privacy protection calls for models that can operate locally which renders compute-efficient models particularly important. Moreover, even when medical text corpora areProcessing free-form text in the medical domain is notoriously challenging, particularly when dealing with German text. Recent advancements in data-driven machine learning for Natural Language Processing (NLP), especially with transformer-based language models, have proven to be effective in processing such text. However, the success of these approaches heavily depends on access to large, high-quality datasets, which is a major hurdle in the medical field. Privacy concerns and strict access regulations impose substantial restrictions on the availability of medical data, hindering progress in this research area. Additionally, the German language has received comparatively less attention in NLP research, resulting in fewer resources and tools for processing German medical texts. From a practical perspective, the need for privacy protection calls for models that can operate locally which renders compute-efficient models particularly important. Moreover, even when medical text corpora are available, the extensive manual annotation required for training high-quality NLP models remains a significant bottleneck, and thus, further limits the development of robust medical NLP pipelines. This dissertation investigates a suite of methodologies designed to navigate these challenges, with a focus on German medical named entity recognition as a case study. The proposed approaches explored in this thesis range from a vocabulary-driven, search-based baseline to several neural approaches, including transformer-based architectures. In addition to a per-method evaluation in a quantitative and qualitative fashion, a shared evaluation framework across all proposed methods is presented in the context of medication detection, a critical task in medical text processing. In particular, the evaluation includes external datasets to assess the robustness and generalizability of the trained models. The baseline approach, though straightforward, offers a benchmark against which the neural models can be compared, with the latter consistently yielding superior performance. The results indicate that most neural approaches achieve decent performance, with some models attaining remarkable F1-scores, reflecting their capability to generalize fairly well across several datasets. Nevertheless, challenges persist, particularly regarding label class divergences and dataset-specific biases, which can undermine the reliability of the obtained evaluation scores and limit broader interpretability. Furthermore, the flexibility of individual approaches varies, and thus, it influences their suitability for specific downstream tasks and use cases. The findings underscore the necessity for open and adaptable NLP methods in the medical domain, particularly for German use cases, where data constraints are often inevitable, as well as the continued efforts towards the release of novel public corpora by the research community to evaluate developed NLP methods in more robust ways. This work provides a foundation for further research into scalable, privacy-compliant NLP solutions tailored to the unique demands of medical text processing in combination with the democratization of NLP tools and methods in this domain.…
• Die Verarbeitung von Freitext im medizinischen Bereich stellt eine besondere Herausforderung dar, insbesondere bei der Verarbeitung von Texten in deutscher Sprache. Jüngste Fortschritte im Bereich des datengetriebenen maschinellen Lernens für die natürliche Sprachverarbeitung (NLP), insbesondere durch transformerbasierte Sprachmodelle, haben sich als effektiv bei der Verarbeitung solcher Texte herausgestellt. Dennoch hängt der Erfolg dieser Ansätze meist vom Zugang zu großen, qualitativ hochwertigen Datensätzen ab, was im medizinischen Kontext eine erhebliche Hürde darstellt. Datenschutzbedenken und strenge Zugriffsregelungen schränken die Verfügbarkeit medizinischer Daten stark ein und erschweren die Forschungsbedingungen in diesem Bereich. Des Weiteren ist der Fokus der NLP-Forschung auf deutsche Sprachverarbeitung verglichen mit englischer NLP-Forschung vergleichsweise gering, und zeigt sich unter anderem an der geringeren Quantität und Qualität an Ressourcen und Werkzeugen für dieDie Verarbeitung von Freitext im medizinischen Bereich stellt eine besondere Herausforderung dar, insbesondere bei der Verarbeitung von Texten in deutscher Sprache. Jüngste Fortschritte im Bereich des datengetriebenen maschinellen Lernens für die natürliche Sprachverarbeitung (NLP), insbesondere durch transformerbasierte Sprachmodelle, haben sich als effektiv bei der Verarbeitung solcher Texte herausgestellt. Dennoch hängt der Erfolg dieser Ansätze meist vom Zugang zu großen, qualitativ hochwertigen Datensätzen ab, was im medizinischen Kontext eine erhebliche Hürde darstellt. Datenschutzbedenken und strenge Zugriffsregelungen schränken die Verfügbarkeit medizinischer Daten stark ein und erschweren die Forschungsbedingungen in diesem Bereich. Des Weiteren ist der Fokus der NLP-Forschung auf deutsche Sprachverarbeitung verglichen mit englischer NLP-Forschung vergleichsweise gering, und zeigt sich unter anderem an der geringeren Quantität und Qualität an Ressourcen und Werkzeugen für die Verarbeitung deutscher medizinischer Texte. Zudem erfordert der Schutz sensibler Daten in der Praxis die Verwendung lokal ausführbarer Modelle, wodurch recheneffiziente Ansätze besonders relevant werden. Aber auch im Falle einer Verfügbarkeit von medizinischen Textkorpora stellt der erhebliche manuelle Annotierungsaufwand, der für das Training qualitativ hochwertiger NLP-Modelle erforderlich ist, dennoch eine zusätzliche Hürde dar, die die Entwicklung robuster medizinischer NLP-Pipelines erschwert. Diese Dissertation untersucht eine Reihe von Methoden, die entwickelt wurden, um diese Herausforderungen zu bewältigen. Ein besonderer Fokus liegt dabei auf der Erkennung medizinischer Entitäten im Deutschen. Die in dieser Arbeit vorgestellten Ansätze umfassen sowohl einen suchbasierten Basisansatz, der auf einem vordefinierten Vokabular beruht, sowie mehrere neuronale Ansätze, die transformerbasierte Architekturen einschließen. Neben einer quantitativen und qualitativen Evaluation der einzelnen Methoden wird eine vereinheitliche Auswertung im Rahmen der Erkennung von Medikamenten, eine zentrale Aufgabe der medizinischen Textverarbeitung, durchgeführt. Die Evaluation umfasst dabei auch externe Datensätze, um die Robustheit und Generalisierbarkeit der entwickelten Modelle zu messen. Der Basisansatz dient hierbei als einfacher, aber effektiver Referenzpunkt, an dem die entwickelten neuronalen Modelle gemessen werden können, die durchweg eine überlegene Leistung zeigen. Die Ergebnisse belegen, dass die meisten neuronalen Ansätze solide Ergebnisse erzielen. Einige Modelle erreichen dabei bemerkenswerte F1-Scores, die ihre Generalisierungsfähigkeit über verschiedene Datensätze hinweg widerspiegeln. Dennoch bestehen weiterhin Herausforderungen, insbesondere im Hinblick auf Abweichungen in den Labelklassen und datensatzspezifische Verzerrungen, die die Aussagefähigkeit der erzielten Messergebnisse sowie eine weitergehende Interpretierbarkeit erschweren können. Darüber hinaus variiert die Flexibilität der einzelnen Ansätze, was ihre Anwendbarkeit für spezifische Aufgaben und Anwendungsfälle beeinflusst. Die Ergebnisse dieser Arbeit unterstreichen die Notwendigkeit offener und anpassungsfähiger NLP-Methoden im medizinischen Bereich, insbesondere für Anwendungsfälle in deutscher Sprache, bei denen der eingeschränkte Zugang zu Daten oft unvermeidlich sind. Ebenso unterstreichen die Ergebnisse die Wichtigkeit, neue öffentliche Textkorpora zu entwickeln und zu veröffentlichen, um die Robustheit und Generalisierbarkeit von neu entwickelten NLP-Methoden besser zu evaluieren. Diese Arbeit bietet eine Grundlage für weiterführende Forschungen zu skalierbaren, datenschutzkonformen NLP-Lösungen, die den spezifischen Anforderungen der medizinischen Textverarbeitung gerecht werden können, und trägt zur Demokratisierung von NLP-Werkzeugen und -Methoden in diesem Bereich bei.…