Metriken zur Messung von Dateneigenschaften beim Training von Hochrisiko KI-Systemen: Grundrechtsgefährdende Verzerrungen in Softwareprodukten verstehen, vorhersagen und vermeiden

  • Projektnummer: F 2602
  • Projektdurchführung: Bundesanstalt für Arbeitsschutz und Arbeitsmedizin (BAuA)
  • Status: Laufendes Projekt
  • Geplantes Ende: 30. Juni 2029

Projektbeschreibung:

KI-Systeme haben das Potenzial, Entscheidungsprozesse effizienter zu gestalten. So können Personalentscheidungen durch automatisierte Empfehlungen optimiert werden. Dadurch ergeben sich jedoch auch Risiken, wie die Verletzung von Grundrechten, die für Betroffene unabschätzbare Folgen nach sich ziehen können. Das Forschungsprojekt leistet einen Beitrag zum Arbeitsschutz, indem es hilft, Verhalten von KI-Werkzeugen für Managementaufgaben in Bezug auf den Grundrechtsschutz fair zu gestalten.

Ziel des Projekts ist es daher, die Eigenschaften von Datensätzen zu analysieren, die für das Training von diesen Hochrisiko-KI-Systemen genutzt werden. Dabei liegt der Fokus auf der Evaluation von Methoden, die Verzerrungen in Datensätzen identifizieren können. Eine klassische Verzerrung bezieht sich z.B. auf die Ungleichverteilung von Geschlechtern in bestimmten Berufen und deren Repräsentation in Datensätzen. Zur Verhinderung der Fortsetzung historischer Trends, müssen daher bestehende Verzerrungen berücksichtigt werden. Dieses Wissen zur Verzerrungsdetektion ist relevant, um die Konformität von KI-Systemen des algorithmischen Managements sicherzustellen.

Das Projekt untersucht dazu etablierte Fairness-Metriken (u.a. "disparate impact") und deren Anwendung auf reale und synthetische Datensätze. Es werden auch neue Metriken entwickelt, getestet und validiert, die die bisherigen Forschungsansätze integrieren. Zudem kommen innovative Methoden zur Verzerrungsminderung zum Einsatz. Praxispartner aus der Wissenschaft und der Wirtschaft werden eingebunden, um die entwickelten Ansätze zu testen.

Die Forschung soll praxistaugliche Prinziplösungen bereitstellen, um KI-Systeme transparenter, vertrauenswürdiger und fairer zu gestalten. Die Ergebnisse unterstützen somit die Einführung von KI-Werkzeugen im Sinne des europäischen KI-Rechtsakts und schaffen eine Grundlage für eine sichere digitale Arbeitswelt.

Weitere Informationen

Kontakt

Fachgruppe 2.4 "Künstliche Intelligenz in der Arbeitswelt"

Service-Telefon: 0231 9071-2071
Fax: 0231 9071-2070