Die Einführung und verstärkte Nutzung von Algorithmen mit Ansätzen der künstlichen Intelligenz beeinflussen Staat, Wirtschaft und Individuum. Vor diesem Hintergrund stellt sich die Frage nach der menschlichen Kontrolle über und die Kontrollierbarkeit von automatisierten Systemen. Die Herausforderung besteht darin, in Zukunft KI-Systeme zu entwickeln, in denen Mensch und Maschine produktiv miteinander arbeiten und sich gegenseitig verstehen. Mit dieser besonderen Mensch-Maschine-Interaktion befasst sich das Forschungsteam „Human in Command“.

Die drei Säulen von „Human in Command“

Participatory Design: KI- und Robotik-Systeme werden gemeinsam mit denen entwickelt, die damit arbeiten sollen.

Situation Awareness: Systeme nach dem Human-in-Command-Prinzip müssen gewährleisten, dass Menschen, die damit arbeiten, jederzeit wissen, was das System tut.

Meaningful Control: Human-in-Command-Systeme müssen für Menschen sinnvoll steuer- und kontrollierbar sein.