Die KI-Landschaft entwickelt sich rasant weiter. Bisher waren KI-Systeme in erster Linie unterstützend tätig und reagierten auf Anweisungen. Sie gaben Empfehlungen oder führten auf Anfrage vordefinierte Aufgaben aus. Jetzt beginnt für sie das Zeitalter von Agentic AI: Systeme, die autonom agieren, sich in Echtzeit anpassen und wie digitale Kollegen zusammenarbeiten.
Mit der zunehmenden Autonomie von KI entstehen aber auch neue Risiken. Wie können wir also mit dieser neuen Realität verantwortungsvoll umgehen? Diese Frage überlassen wir bei SAP nicht dem Zufall.
Von Tools zu Teamkollegen
Stellen Sie sich vor, Sie kaufen ein Auto. Sie erwarten, dass es alle Sicherheitsstandards erfüllt, unabhängig davon, wo die Komponenten gefertigt werden oder wie das Auto montiert wird. Der Prozess, der im Hintergrund abläuft, ändert nichts an Ihren Erwartungen an die Sicherheit. Dasselbe gilt für Agentic AI.
Agentic-AI-Systeme sind mehr als Tools. Sie sind intelligente Agenten, die planen, aus Erfahrungen lernen, sich selbst korrigieren und zusammenarbeiten. Sie sind in der Lage, komplexe Prozesse zu koordinieren, Entscheidungen zu treffen und sogar mit anderen Agenten oder Menschen zusammenzuarbeiten, um ein Ziel zu erreichen. Dieser Fortschritt bringt jedoch eine neue Ebene an Komplexität und Risiko mit sich.
Fähigkeiten und Risiken von Agentic AI
Agentic-AI-Systeme bieten leistungsstarke Funktionen wie Planung, Reflexion und Zusammenarbeit, sodass sie komplexe Aufgaben autonom erledigen können. Sie können Strategien entwerfen, aus Fehlern lernen, externe Tools einsetzen und sich mit Menschen und anderen Agenten abstimmen.
Diese Fähigkeiten bergen jedoch auch Risiken. So kann fehlerhafte Planung zu Ineffizienzen führen. Reflexion kann unethisches Verhalten verstärken. Die Nutzung anderer Tools kann Instabilität mit sich bringen, wenn Systeme in unvorhersehbarer Weise interagieren. Und durch unklare Zusammenarbeit kann es zu Missverständnissen und Fehlern kommen. Dies alles auszubalancieren und geeignete Sicherheitsvorkehrungen zu treffen ist für einen sicheren, ethischen Einsatz von Agentic AI unerlässlich.
Mit Autonomie umgehen: Das richtige Maß zwischen Freiheit und Kontrolle finden
Eine der dringend zu lösenden Herausforderungen bei der Nutzung von Agentic AI ist, mit ihrer Autonomie entsprechend umzugehen. Unkontrolliert können diese Systeme vom Kurs abkommen, Kontext falsch interpretieren oder subtile Risiken mit sich bringen, die sich nicht sofort erkennen lassen. Hier müssen Unternehmen das richtige Maß zwischen Freiheit und Kontrolle finden.
Wir haben gelernt, dass das Maß an Kontrolle sich nach der Höhe des Risikos richten sollte. Bereiche, in denen viel auf dem Spiel steht, wie der Gesundheitssektor oder das Personalwesen erfordern eine umfassende Kontrolle durch den Menschen. Routineaufgaben mit geringem Risiko hingegen lassen mehr Autonomie zu. Zudem ist eine kontinuierliche Überwachung unerlässlich. Agentic-AI-Systeme müssen wie jede komplexe Technologie regelmäßig überprüft werden, um Qualität, Compliance und Zuverlässigkeit sicherzustellen.
Ein wesentliches Element dieser Kontrolle ist ein „Human in the Loop“-Konzept. Hierbei kommt an kritischen Punkten der Mensch mit seinem Urteilsvermögen ins Spiel, sodass automatisierte Handlungen sich an menschlichen Werten und den Zielen des Unternehmens orientieren.
Dieses Prinzip war von Anfang ein zentrales Element des SAP-Konzepts für den ethischen Umgang mit KI. Es spiegelt unsere Überzeugung wider, dass KI die Entscheidungsfindung von Menschen unterstützen, aber nicht ersetzen sollte. Um dies zu untermauern, hat die SAP obligatorische Ethik-Überprüfungen für alle Agentic-KI-Anwendungsfälle eingeführt. Damit soll sichergestellt werden, dass jeder Einsatz von KI auf seine ethischen Auswirkungen hin überprüft wird und mit unseren Prinzipien für den verantwortungsvollen Umgang mit KI in Einklang steht.
Transparenz und Verantwortung in KI-Systemen schaffen
Transparenz ist nicht nur ein Schlagwort, sondern eine grundlegende Voraussetzung für den Aufbau von Vertrauen in Agentic AI. Während der Designphase von KI-Systemen ist es von Anfang an wichtig, sie nach der Komplexität und dem Risiko der von ihnen ausgeführten Aufgaben zu klassifizieren. Von dieser Klassifizierung hängen die erforderlichen Sicherheitsvorkehrungen ab. Sie stellt sicher, dass Mechanismen für menschliche Intervention von Anfang an integriert werden.
Ist das System am Laufen, wird Transparenz durch die Nachvollziehbarkeit und Rückverfolgbarkeit seiner Aktionen gewährleistet. Entwicklungsteams und Endbenutzer müssen verstehen können, was das System macht und warum. Entscheidend ist, dass die Verantwortung immer bei Menschen oder juristischen Personen liegt, niemals bei der KI selbst.
Governance und Regulierung für Agentic AI neu denken
Agentic AI ist zwar schon im Einsatz, es gibt aber keine neuen, speziell dafür geschaffenen Vorschriften. Bestehende Gesetze und Rahmenbedingungen wie die DSGVO gelten weiterhin und bieten eine solide Governance-Grundlage. Im Gegensatz zu vorher braucht es jedoch viel mehr technische Sorgfalt, um konform und ethisch einwandfrei zu bleiben. Unternehmen müssen nun tragfähigere Prozesse einführen. Sie müssen Anwendungsfälle genauer analysieren, risikobasierte Kontrollen durchführen, die sich nach den potenziellen Auswirkungen des KI-Systems richten, und sicherstellen, dass ethische und rechtliche Standards durch verbesserte Designmethoden und laufende Tests eingehalten werden.
Menschliche Werte beim Design in den Mittelpunkt stellen
Agentic AI kann keine Entschuldigung für gelockerte Standards sein. Unsere Haltung bei SAP ist klar und eindeutig: Auch in autonomen Systemen muss KI die höchsten ethischen Benchmarks erfüllen. Das bedeutet, Prinzipien wie Fairness, Transparenz und Einbeziehung von Menschen direkt in das Design einzubetten.
Letztendlich sollten alle Benutzer über die nötigen Tools und das Verständnis verfügen, um das Systemverhalten überwachen und bei Bedarf eingreifen zu können.
Vertrauen in das Unbekannte aufbauen
Vertrauen in KI ergibt sich nicht einfach von selbst; es muss gezielt aufgebaut und fortlaufend gestärkt werden. Am effektivsten gelingt dies, wenn man Stakeholdern die richtige Menge an Informationen zur Verfügung stellt. Zu viele Einzelheiten können überfordern und kontraproduktiv sein. Informiert man zu wenig, kann dies zu blindem Vertrauen oder Angst vor dem Unbekannten führen. Der Schlüssel liegt darin, klar darüber zu informieren, was das System kann, welche Risiken und Einschränkungen es gibt und wie es angemessen genutzt wird. Will man eine sichere, geschützte und vertrauenswürdige KI-Umgebung schaffen, ist es wichtig, Anwender in die Lage zu versetzen, das Verhalten der KI kritisch zu beurteilen und zu wissen, wann man einschreiten muss.
KPIs im KI-gestützten Arbeitsplatz überdenken
Da KI-Agenten wie unsere Joule-Agenten immer mehr Aufgaben übernehmen, werden sich natürlich auch die Aufgaben der Menschen ändern und weiterentwickeln. Um mit diesem Wandel Schritt zu halten, müssen Unternehmen darüber nachdenken, wie sie künftig Erfolg definieren und messen. Dies beginnt mit Investitionen in Change-Management- und Weiterbildungsprogramme, die Mitarbeitende darauf vorbereiten, gemeinsam mit KI effektiv zu arbeiten. Dazu gehört auch, Produktivitätskennzahlen neu zu definieren und neben der Erledigung von Aufgaben im Blick zu haben, wie gut Menschen und KI-Agenten zusammenarbeiten. Der Erfolg sollte daran gemessen werden, wie effizient Teams KI nutzen, um neue Einblicke in Daten zu erhalten und Innovationen zu ermöglichen.
KI entwickeln, die Vertrauen schafft
Bei Agentic AI handelt es sich nicht einfach nur um eine weitere Phase, sondern um eine Transformation. Doch wie bei jeder transformativen Technologie hängt der Erfolg davon ab, wie sie entwickelt, gesteuert und genutzt wird.
Im besten Fall erweitert Agentic AI die Fähigkeiten des Menschen, beschleunigt Innovationen und hilft, Herausforderungen zu meistern, die bisher als zu komplex galten. Agentic AI erfordert aber auch ein neues Maß an Sorgfalt, Kontrolle und ethische Überlegungen.
Es geht also in Zukunft nicht nur darum, intelligentere Agenten zu entwickeln, sondern verantwortungsbewusste.
Weitere Informationen:
- 2025 SAP Sapphire Innovation Guide
- AI Ethics Handbook, Guidelines & Global AI Ethics Steering Committee
- Learning Journey: Putting AI Ethics into Practice at SAP
- The Evolution from Chatbots to Agentic AI Systems
Walter Sun ist Senior Vice President und Leiter des Bereichs KI bei der SAP.
