Logisch KI: Testen und Überwachen von KI-Modellen zur Bekämpfung von Online-Fehlinformationen

Fallstudie von Logically AI.

Diese Fallstudie konzentriert sich auf den Einsatz von KI zur groß angelegten Erkennung von Online-Fehlinformationen.

In dieser Fallstudie skizzieren wir unsere Ansätze und Prinzipien für den Aufbau vertrauenswürdiger KI-Systeme zur Erkennung von Online-Fehlinformationen. Logically nutzt ein Human-in-the-Loop-KI-Framework namens HAMLET (Humans and Machines in the Loop Evaluation and Training), um die Entwicklung vertrauenswürdiger und verantwortungsvoller KI-Technologien zu ermöglichen.

Dieses Framework ermöglicht es Maschinen und Experten, zusammenzuarbeiten, um KI-Systeme mit größerer Vertrauenswürdigkeit zu entwerfen, einschließlich Robustheit, Generalisierbarkeit, Erklärbarkeit, Transparenz, Fairness, Wahrung der Privatsphäre und Rechenschaftspflicht. Unser Ansatz für vertrauenswürdige KI berücksichtigt den gesamten Lebenszyklus von KI-Systemen, von der Datenkuratierung über die Modellentwicklung, die Systementwicklung und -bereitstellung bis hin zur kontinuierlichen Überwachung und Governance. HAMLET befasst sich mit verschiedenen Herausforderungen auf Daten- und Modellebene, um effektive KI-Lösungen für die Probleme der Online-Informationsumgebung zu entwickeln. Das Framework ermöglicht die Sammlung von Expertendatenanmerkungen, Expertenfeedback, Überwachung der KI-Systemleistung und Lebenszyklusmanagement.

Um Datenausreißer, Anomalien und Inkonsistenzen effektiv beheben zu können, ist ein Datenqualitätsmanagement unabdingbar. Der Umgang mit Verzerrungen auf Datenebene ist von entscheidender Bedeutung, um verrauschte Muster und Modelle zu eliminieren, die irreführende Erkenntnisse liefern.

Die Überwachung der KI-Modellleistung und das Lebenszyklusmanagement sind ebenfalls von entscheidender Bedeutung, um mit der dynamischen Natur der Online-Informationsumgebung umzugehen. KI-Modelle sind im Vergleich zu herkömmlichem Code einzigartige Softwareeinheiten und ihre Leistung kann im Laufe der Zeit aufgrund von Änderungen bei der Dateneingabe in das Modell nach der Bereitstellung schwanken. Sobald ein Modell bereitgestellt wurde, muss es überwacht werden, um sicherzustellen, dass es wie erwartet funktioniert. Daher sind Tools erforderlich, die Modelle testen und überwachen können, um ihre beste Leistung sicherzustellen, um regulatorische, Reputations- und Betriebsrisiken zu mindern. Die wichtigsten Konzepte, die überwacht werden sollten, sind die folgenden:

Um diese Risiken zu überwachen, nutzt HAMLET Automatisierung und Best Practices der Branche rund um maschinelle Lernvorgänge (MLops), um Arbeitsabläufe zu entwerfen und zu implementieren, um eine Verschlechterung der Modellleistung automatisch zu erkennen.

Die Feststellung der Vertrauenswürdigkeit ist ein dynamischer Vorgang. Die ständige Verbesserung der KI-Vertrauenswürdigkeit erfordert eine Kombination aus manuellen und automatisierungsbasierten Arbeitsabläufen, die von konzeptionellen Rahmenwerken und Prinzipien geleitet werden. MLOps bietet einen Ausgangspunkt für den Aufbau des Workflows für vertrauenswürdige KI. Durch die Integration des ML-Lebenszyklus verbindet MLOps Forschung, Experimente und Produktentwicklung, um die schnelle Nutzung der theoretischen Entwicklung einer vertrauenswürdigen KI zu ermöglichen. Es enthält die folgenden Eigenschaften, die in unser HAMLET-Framework integriert sind:

Weitere Informationen zu den Regulierungsgrundsätzen des AI-Whitepapers.

Unser Ansatz ist für die Grundsätze der Sicherheit, des Schutzes und der Robustheit relevant, da er die Entwicklung von KI-Technologien ermöglicht, die Best Practices im Datensicherheitsmanagement, im Risikomanagement auf Datenebene und im Bedrohungsmanagement übernehmen. Darüber hinaus treibt unser Ansatz die Einführung von Industriestandards für verantwortungsvolle und vertrauenswürdige KI voran. Dies ermöglicht nicht nur eine sichere und verantwortungsvolle Entwicklung von KI-Technologien, sondern erhöht auch deren Robustheit im Umgang mit gegnerischen Angriffen.

Unser Ansatz ist für die Grundsätze der Transparenz und Erklärbarkeit relevant, da er es uns ermöglicht, KI-Modelle und -Systeme zu entwickeln, die den Industriestandards für Fairness, Verantwortlichkeit, Vertrauenswürdigkeit und Erklärbarkeit entsprechen. Dies sorgt für mehr Transparenz sowie Flexibilität bei der Nutzung und kollaborativen Anwendungsentwicklung.

Unser Ansatz ist für die Grundsätze der Fairness relevant, da er es uns ermöglicht, einen robusten und ausgereiften KI-Technologie-Stack zu entwickeln, um kommerzielle Produkte und Dienstleistungen zu entwickeln, die Fehl-/Desinformationen in großem Maßstab entgegenwirken und so die Zufriedenheit und das Vertrauen der Benutzer gewährleisten. Wir erkennen ausdrücklich das Risiko von Voreingenommenheit an, die unsere Prozesse zur Erhebung von Datensätzen und zur Einbindung interdisziplinärer Teams beeinflusst, und bedeutet, dass unser Ansatz aktiv darauf abzielt, die Entstehung diskriminierender Ergebnisse zu verhindern.

Obwohl KI-Technologien nachweislich in der Lage sind, Fehlinformationen in großem Maßstab zu erkennen, müssen sie, um wirklich effektiv zu sein, unter Einhaltung vertrauenswürdiger KI-Prinzipien in realen Anwendungen eingesetzt werden. Es wurde jedoch festgestellt, dass viele aktuelle KI-Systeme anfällig für Voreingenommenheit, Risiken für die Privatsphäre der Benutzer und unmerkliche Angriffe sind. Diese Nachteile beeinträchtigen die Benutzererfahrung und untergraben das Vertrauen der Menschen in KI-Systeme.

HAMLET ermöglicht es Maschinen und Experten, zusammenzuarbeiten, um KI-Systeme mit größerer Vertrauenswürdigkeit zu entwerfen, einschließlich Robustheit, Generalisierbarkeit, Erklärbarkeit, Transparenz, Fairness, Wahrung der Privatsphäre und Rechenschaftspflicht. Dieser Ansatz für vertrauenswürdige KI berücksichtigt den gesamten Lebenszyklus von KI-Systemen, von der Datenkuratierung über die Modellentwicklung, die Systementwicklung und -bereitstellung bis hin zur kontinuierlichen Überwachung und Governance.

Ermöglicht uns die Entwicklung von KI-Modellen und -Systemen, die den Industriestandards für Fairness, Verantwortlichkeit, Vertrauenswürdigkeit und Erklärbarkeit entsprechen, um große Transparenz sowie Flexibilität bei der Nutzung und kollaborativen Anwendungsentwicklung zu ermöglichen.

Stellt dem Unternehmen einen robusten und ausgereiften KI-Technologie-Stack zur Entwicklung kommerzieller Produkte und Dienstleistungen zur Verfügung, die Fehl-/Desinformationen in großem Umfang entgegenwirken und so die Zufriedenheit und das Vertrauen der Benutzer gewährleisten.

Weitere Informationen zu anderen Techniken finden Sie im OECD-Katalog der Tools und Metriken: https://oecd.ai/en/catalogue/overview

Weitere Informationen zu relevanten Standards finden Sie im AI Standards Hub: https://aistandardshub.org/