“Hey Chatbot, please draft and send a nice email to employee E at Company X, in which you forward our report to her.”
A purely fictional prompt for a hypothetical AI technology-based system that reveals an AI agent component. What actual and legal issues come to mind?
AI Agents: A risky trend
In the year 2025, AI agents are expected to be the next big trend in the corporate world (World Economic Forum, 2024). These (not that new) technologies go beyond the classic chatbot-human interaction, as seen with AI systems like ChatGPT. AI agents intervene in processes outside of a chatbot software and can automatically implement actions based on the recommendations or decisions generated by the AI system, with or without human confirmation. Multi-agent systems are described to be capable of solving complex problems independently due to their interactive abilities. Faster and more fluid workflows and even the replacement of human labor are promised.
What’s the problem?
The usual phrases about transparency, integration of a human-in-the-loop, ethical and legally compliant behavior, and cybersecurity while fostering innovation will not be repeated here. They leave companies and executives confronted with the trend alone with the question: Where exactly is the main problem here, and where to start?
An AI agent goes beyond the definition of an AI system according to Art. 3 (1) of the EU AI Act: According to this definition, an “AI system” is “a machine-based system that is designed to operate with varying levels of autonomy and that may exhibit adaptiveness after deployment, and that, for explicit or implicit objectives, infers, from the input it receives, how to generate outputs such as predictions, content, recommendations, or decisions that can influence physical or virtual environments”. The focus here is on the inference from input, not the realisation of the outputs. In contrast, AI agents practically implement these outputs – especially decisions (see OECD, 2024) – by intervening in physical or virtual environments on the basis of extended technical possibilities granted by humans.
The EU AI Act will be the solution, won’t it?
The EU AI Act does not apply to systems that are based on the rules defined solely by natural persons to automatically execute operations, as stated in recital 12 of the EU AI Act. An AI agent can (but does not have to) be understood as such a system. It relies on rules defined by humans (if-then rules) for the automatic execution of operations: If a decision by the AI system is present, then execute according to predefined rules.
From this, two essential conclusions can be drawn:
1. A focused view on the EU AI Act and the begin of its application alone is insufficient.
2. AI agents pose significant security, particularly information security, and liability issues.
So what to do?
Any management planning to deploy AI agents in a company should conduct a comprehensive factual and legal review beforehand. The central questions should be:
1. To whom or what do we grant
2. Which rights to access or control
3. Which company systems
4. Why,
5. On what legal basis and under what legal conditions,
6. How,
7. To what extent and
8. For how long
9. With what risks
10. For which affected parties, including the company,
11. With what risk management measures?
12. What residual risk remains, and who bears it?
If even one of these questions remains unanswered or unsatisfactorily answered, the use of AI agents should be ruled out. Given the increasing threats from hybrid warfare and the everyday dangers of espionage and sabotage, any facilitation by such technologies is gladly seen by potential attackers.
Rights that one would not grant to humans or only under the strictest conditions should not be granted to software just because of a trend.
Law firm and corporate experience, combined with a scientific background in artificial intelligence and security and disaster management, is invaluable for the effective yet economical implementation of new regulations aimed at the safety and security of critical technologies like AI. Claudia possesses these qualities and looks forward to working with you.
„Hey Chatbot, bitte erstelle und versende eine nette E-Mail an die Mitarbeiterin M der Firma X, in der du ihr unser Gutachten übermittelst.“
Ein rein fiktiver Prompt für ein fiktives KI-Technologie-basiertes System, der eine KI-Agenten-Komponente erkennen lässt. Welche tatsächlichen und rechtlichen Probleme drängen sich auf?
KI-Agenten: riskanter Trend
Im Jahr 2025 werden sog. KI-Agenten voraussichtlich der nächste große Trend in der Unternehmenswelt sein (World Economic Forum, 2024). Diese (nicht ganz neuen) Technologien gehen über die klassische Chatbot-Mensch-Interaktion hinaus, wie sie etwa von ChatGPT geprägt ist. KI-Agenten greifen in Prozesse außerhalb einer Chatbot-Software ein und können vom KI-System generierte Handlungsempfehlungen oder Entscheidungen automatisch, ggf. auf menschliche Bestätigung hin, umsetzen. Multi-Agenten-Systeme sollen dabei aufgrund ihrer Interaktionsfähigkeit in der Lage sein, auch komplexe Probleme selbständig zu lösen. Versprochen werden schnellere und flüssigere Arbeitsabläufe und gar der Ersatz menschlicher Arbeitskräfte.
Was ist das Problem?
Die üblichen Phrasen zu Transparenz, Integration eines Human-in-the-loop, ethischem und rechtlich korrektem Verhalten sowie Cybersecurity bei Förderung von Innovation sollen hier nicht wiederholt werden. Denn sie lassen die mit dem Trend Konfrontierten allein mit der Frage: Wo liegt hier eigentlich der Problemschwerpunkt, wo fängt man an?
Ein KI-Agent geht über die Definition eines KI-Systems laut Art. 3 Nr. 1 der KI-VO hinaus: Ein „KI-System“ ist nach dieser Definition „ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können“. Der Schwerpunkt liegt hier in der Ableitung aus Eingaben, nicht der Umsetzung der Ausgaben. Im Gegensatz dazu setzen KI-Agenten diese Ausgaben – insbesondere Entscheidungen (vgl. OECD, 2024) – praktisch um, indem sie aufgrund von Menschen eingeräumten, erweiterten technischen Möglichkeiten in physische oder virtuelle Umgebungen eingreifen.
Die KI-VO wird’s richten, oder?
Die KI-VO bezieht sich nach Erwägungsgrund 12 derselben sich nicht auf Systeme, die auf ausschließlich von natürlichen Personen definierten Regeln für das automatische Ausführen von Operationen beruhen. Ein KI-Agent kann (muss aber nicht) als ein solches System verstanden werden. Es beruht auf von Menschen definierten (Wenn-dann-)Regeln für das automatische Ausführen von Operationen: Wenn eine Entscheidung des KI-Systems vorliegt, dann führe sie nach vorgegebenen Regeln aus.
Daraus ergeben sich zwei wesentliche Schlüsse:
1. Der fokussierte Blick auf die KI-VO und ihren Anwendungsbeginn allein ist unzureichend.
2. KI-Agenten stellen ein erhebliches Sicherheits-, insbesondere Informationssicherheits- und Haftungsproblem dar.
Also was tun?
Wer plant, KI-Agenten in einem Unternehmen einzusetzen, sollte eine umfassende Sach- und Rechtsprüfung voranstellen. Die zentralen Fragen sollten lauten:
1. Wem oder was gewähren wir
2. welche Rechte an
3. welchen Unternehmenssystemen
4. warum,
5. auf welcher rechtlichen Grundlage und zu welchen rechtlichen Bedingungen,
6. wie,
7. in welchem Umfang und
8. für wie lange
9. mit welchen Risiken
10. für welche Betroffenen einschließlich des Unternehmens,
11. bei welchen Risikomanagementmaßnahmen?
12. Welches Restrisiko bleibt und wer trägt es?
Bleibt auch nur eine dieser Fragen unbeantwortet oder nicht zufriedenstellend beantwortet, sollte vom Einsatz von KI-Agenten abgesehen werden. Angesichts der zunehmenden Bedrohungen durch hybride Kriegsführung und die alltägliche Gefahr von Spionage und Sabotage ist jede Erleichterung durch solche Technologien von potenziellen Angreifern gerne gesehen.
Rechte, die man selbst Menschen nicht oder nur unter strengsten Bedingungen einräumen würde, sollten nicht aufgrund eines Trends einer Software eingeräumt werden.
Kanzlei- und Unternehmenserfahrung sowie ein wissenschaftlicher Hintergrund im Bereich der Künstlichen Intelligenz sowie im Sicherheits- und Katastrophenmanagement sind wertvoll, wenn es um die wirksame, aber auch wirtschaftliche Umsetzung von neuen Rechtsvorschriften geht, welche auf die Sicherheit von und vor kritischen Technologien wie den KI-Technologien abzielt. Diese bringt Claudia mit und freut sich, mit Ihnen zu arbeiten.