Open Access

Miriam Katrin Sophie Elia

• Artificial Intelligence (AI) technologies are entering the real world at an accelerated pace, offering remarkable benefits across domains. However, especially in high-risk areas such as healthcare, their deployment also presents significant ethical, legal, and societal risks. The European Union’s AI Act (EU AI Act) provides regulatory oversight in such contexts and aims to ensure fundamental rights, safety, and health [Fut24]. While the legislation offers valuable guidance, moving towards Responsible AI (RAI) [DRN23] requires more than the formulation of principles. It demands operational structures that support quality assessment, transparency, and traceability across the entire AI lifecycle. In this context, AI Quality Management (AI QM) counts as a key enabler for aligning AI system creation with responsible innovation and legal compliance. Despite the increasing availability of guidelines, best practices, and standards, stakeholders face persistent challenges in applying theseArtificial Intelligence (AI) technologies are entering the real world at an accelerated pace, offering remarkable benefits across domains. However, especially in high-risk areas such as healthcare, their deployment also presents significant ethical, legal, and societal risks. The European Union’s AI Act (EU AI Act) provides regulatory oversight in such contexts and aims to ensure fundamental rights, safety, and health [Fut24]. While the legislation offers valuable guidance, moving towards Responsible AI (RAI) [DRN23] requires more than the formulation of principles. It demands operational structures that support quality assessment, transparency, and traceability across the entire AI lifecycle. In this context, AI Quality Management (AI QM) counts as a key enabler for aligning AI system creation with responsible innovation and legal compliance. Despite the increasing availability of guidelines, best practices, and standards, stakeholders face persistent challenges in applying these partly abstract principles to concrete system design decisions. This is particularly difficult due to the intricate nature of AI systems: they are opaque, data-driven, stochastic, and use case-specific, involving interdependent design choices across multiple lifecycle stages. Further, relevant design information is typically scattered across disciplines and formats, limiting reusability and collective learning. This thesis addresses these challenges by proposing a structured and extensible blueprint to organizing AI design knowledge for RAI system creation, resulting in the Generic and Customizable Methodology based on Quality Gates towards Certifiable AI in Medicine (MQG4AI). We focus on the medical domain through our use cases, but the blueprint is intended to be generalizable across domains. MQG4AI introduces a dynamic Information Management (IM) structure that supports collective and transparent AI design by allowing for the organization and contextualization of new and existing contributions from research and industry. The blueprint integrates principles from Design Science Research (DSR) [vJ20], aiming to continuously bridge the gap between high-level RAI guidance and context-specific AI system implementations. At the core of MQG4AI lies the concept of Quality Gates (QG), adapted from traditional software engineering [Fil06] [Flo08] [GM09] [HS09], aiming to support quality-assured decisions throughout the AI lifecycle. QGs guide lifecycle design in a hierarchical manner, starting from generic lifecycle processes (e.g. the model development stage) to use-case-specific configurations (e.g. performance metrics in medical image segmentation). Additionally, they enable the inclusion of interdependencies between design decisions, as well as linking contextual information with the AI lifecycle. The blueprint incorporates ethical considerations and operational requirements from the EU AI Act, particularly Article 17 (Quality Management) and Article 9 (Risk Management) [Fut24]. Further, we exemplify aligning AI risks with the Trustworthy AI (TAI) principles outlined by the European Commission [Eur19] [Hig20]. Within our contribution, special emphasis is placed on the development phase of AI models, identifying which information should be extracted or integrated to support downstream (e.g. deployment) and upstream (e.g. data acquisition) activities. Moreover, MQG4AI functions as a knowledge-sharing tool, facilitating the on-going aggregation and practical accessibility of RAI design knowledge in a decentralized manner. Following DSR, the MQG4AI blueprint allows for the continuous communication between RAI lifecycle design knowledge (MQG4DK) and individual AI projects (MQG4A). These templates, which are derived from the global blueprint, are envisioned to provide use case-adapted guidelines for high-quality AI lifecycle design, promoting traceability from a conceptual perspective. Thus, MQG4AI is envisioned to enable shared, flexible, and use case-oriented lifecycle design for actively involved stakeholders. It supports the reuse of lessons learned, thereby contributing to the long-term goal of enhancing AI literacy, as emphasized in Article 4 of the EU AI Act [Fut24]. A visualization of the MQG4AI blueprint is available on GitHub.1 In conclusion, this thesis offers a conceptual and practical foundation for enabling RAI through structured IM along the AI lifecycle. By supporting continuous, collaborative, and compliant AI development practices, MQG4AI contributes to the realization of trustworthy, high-quality AI systems capable of meeting both, ethical expectations and regulatory demands. This work aspires to empower development teams and regulatory actors alike, closing the gap between AI’s technical complexity and the societal values it must uphold. 1 https://github.com/miriamelia/MQG4AI/blob/main/README.md…
• Künstliche Intelligenz (KI) hat großes Potenzial für vielfältige Anwendungsbereiche und hält mit zunehmender Geschwindigkeit Einzug in reale Anwendungskontexte. Besonders in Hochrisikodomänen wie dem Gesundheitswesen birgt der Einsatz dieser Technologie jedoch ethische, rechtliche und gesellschaftliche Risiken. Die europäische KI-Verordnung, der EU AI Act, formuliert Anforderungen für die regulatorische Aufsicht in solchen Kontexten und verfolgt das Ziel, Grundrechte, Sicherheit und Gesundheit zu schützen [Fut24]. Obgleich dort wertvolle Leitlinien beschrieben werden, geht der Weg zu verantwortungsvoller KI (RAI) [DRN23] in der realenWelt über die bloße Formulierung von Anforderungen hinaus. Es bedarf operativer Strukturen, die Qualitätsbewertung, Transparenz und Nachvollziehbarkeit über den gesamten KI-Lebenszyklus hinweg unterstützen. In diesem Zusammenhang eröffnet Qualitätsmanagement (QM) für KI zentrale Möglichkeiten, die Entwicklung von KI-Systemen im Einklang mitKünstliche Intelligenz (KI) hat großes Potenzial für vielfältige Anwendungsbereiche und hält mit zunehmender Geschwindigkeit Einzug in reale Anwendungskontexte. Besonders in Hochrisikodomänen wie dem Gesundheitswesen birgt der Einsatz dieser Technologie jedoch ethische, rechtliche und gesellschaftliche Risiken. Die europäische KI-Verordnung, der EU AI Act, formuliert Anforderungen für die regulatorische Aufsicht in solchen Kontexten und verfolgt das Ziel, Grundrechte, Sicherheit und Gesundheit zu schützen [Fut24]. Obgleich dort wertvolle Leitlinien beschrieben werden, geht der Weg zu verantwortungsvoller KI (RAI) [DRN23] in der realenWelt über die bloße Formulierung von Anforderungen hinaus. Es bedarf operativer Strukturen, die Qualitätsbewertung, Transparenz und Nachvollziehbarkeit über den gesamten KI-Lebenszyklus hinweg unterstützen. In diesem Zusammenhang eröffnet Qualitätsmanagement (QM) für KI zentrale Möglichkeiten, die Entwicklung von KI-Systemen im Einklang mit verantwortungsvoller Innovation und rechtlicher Konformität zu gestalten. Trotz der zunehmenden Verfügbarkeit von Leitlinien, Best Practices und Standards stehen die Akteur:innen vor anhaltenden Herausforderungen, diese teils abstrakten Regelungen auf konkrete Designentscheidungen anzuwenden. Dies wird durch die komplexe Natur von KI-Systemen zusätzlich erschwert: Sie sind intransparent, datengetrieben, stochastisch und anwendungsspezifisch. Hinzu kommt dass Designentscheidungen miteinander über verschiedene Phasen des Lebenszyklus hinweg verflochten sind und somit Abhängigkeiten aufweisen. Auch sind relevante Designinformationen oft disziplinübergreifend und in unterschiedlichen Formaten verstreut, was Wiederverwendbarkeit und kollektives Lernen einschränkt. Ausgehend von diesen Herausforderungen widmet sich die vorliegende Arbeit einem strukturierten und erweiterbaren Ansatz zur Organisation von KIDesignwissen, um die Entwicklung verantwortungsvoller KI-Systeme gezielt zu unterstützen. Dabei stellen wir eine generische und anpassbare Methodik auf Basis von Quality Gates vor, mit dem Ziel zertifizierbare KI im medizinischen Kontext zu unterstützen (MQG4AI). Zwar konzentrieren sich unsere Anwendungsfälle auf das Gesundheitswesen, doch der Blueprint ist so konzipiert, dass er auf verschiedene Sektoren übertragbar sein soll. MQG4AI unterstützt die strukturierte Organisation und kontextbezogene Einordnung neuer, sowie bestehender Design-Beiträge aus Forschung und Industrie entlang des KI-Lebenszyklus durch eine integrierte Informationsmanagement-Struktur (IM). Dabei steht die Förderung eines kollaborativen und transparenten KI-Designs im Vordergrund. Unser Vorschlag basiert auf Prinzipien des Design Science Research (DSR) [vJ20] und verfolgt das Ziel, die Lücke zwischen abstrakten Leitlinien und kontextspezifischen KI-Implementierungen systematisch zu schließen. Im Zentrum von MQG4AI stehen Quality Gates (QG), ein Konzept, welches aus der klassischen Softwareentwicklung adaptiert wurde [Fil06] [Flo08] [GM09] [HS09], mit dem Ziel, qualitätsgesicherte Entscheidungen entlang des KI-Lebenszyklus zu unterstützen. QGs leiten die Gestaltung des Lebenszyklus hierarchisch an, von generischen Lebenszyklusprozessen (z.B. derModellentwicklungsphase) bis hin zu anwendungsspezifischen Konfigurationen (z.B. Performanzmetriken in der medizinischen Bildsegmentierung). Darüber hinaus ermöglichen sie die Einbeziehung von Wechselwirkungen zwischen Designentscheidungen, sowie die Verknüpfung kontextueller Informationen mit dem KI-Lebenszyklus. Insgesamt integriert MQG4AI ethische Anforderungen und operationale Vorgaben aus dem EU AI Act, insbesondere Artikel 17 (Qualitätsmanagement) und Artikel 9 (Risikomanagement) [Fut24]. Zudem wird exemplarisch dargestellt, wie KI-Risiken anhand der Prinzipien für vertrauenswürdige KI (TAI) der Europäischen Kommission strukturiert werden können [Eur19] [Hig20]. Ein besonderer Fokus liegt auf der Entwicklungsphase von KI-Modellen, wobei illustrativ aufgezeigt wird, welche Informationen idealerweise extrahiert oder integriert werden sollten, um nachgelagerte (z. B. Deployment) und vorgelagerte (z. B. Datenerhebung) Aktivitäten zu unterstützen. Darüber hinaus unterstützt MQG4AI den Wissensaustausch und ermöglicht eine kontinuierliche, praxisnahe Zugänglichkeit von RAIDesignwissen in dezentraler Form. Im Sinne des DSR-Ansatzes, erlaubt dieser Entwurf eine fortlaufende Wechselwirkung zwischen Designwissen für eine verantwortungsvolle Gestaltung des KI-Lebenszyklus (MQG4DK) und individuellen KI-Projekten (MQG4A). Die dadurch abgeleiteten Designvorlagen sollen kontextspezifische Leitlinien für eine qualitativ hochwertige Gestaltung des KILebenszyklus bereitstellen und dessen Nachvollziehbarkeit aus konzeptioneller Sicht fördern. MQG4AI zielt somit darauf ab, eine kollektive, flexible und anwendungsbezogene Lebenszyklusgestaltung für aktiv beteiligte Akteur:innen zu ermöglichen. Dabei wird die Wiederverwendung gewonnener Erkenntnisse unterstützt, was langfristig zur Stärkung der KI-Kompetenz beiträgt, wie sie in Artikel 4 des EU AI Acts betont wird [Fut24]. Eine Visualisierung von MQG4AI ist auf GitHub verfügbar.2 Abschließend liefert diese Arbeit eine konzeptionelle und praxisorientierte Grundlage, um verantwortungsvolle KI durch ein strukturiertes IM entlang des KI-Lebenszyklus zu ermöglichen. Durch die Unterstützung kontinuierlicher, kollaborativer und konformer KI-Entwicklungspraktiken trägt MQG4AI zur Realisierung vertrauenswürdiger und qualitativ hochwertiger KI-Systeme bei, die sowohl ethischen Erwartungen als auch regulatorischen Anforderungen gerecht werden. Diese Arbeit hat zum Ziel, sowohl Entwicklungsteams als auch Regulierungsakteur:innen zu unterstützen und die Lücke zwischen der technischen Komplexität von KI und den gesellschaftlichen Werten, die sie im realen Einsatz bewahren soll, zu überbrücken. 2 https://github.com/miriamelia/MQG4AI/blob/main/README.md…