OWASP LLM Top 10 · LLM06
Excessive Agency
Een agent meer tools, rechten of autonomie geven dan de taak vereist, zodat één manipulatie tot schade in de echte wereld leidt.
Wat het is
Excessive agency is het risico dat het agent-tijdperk definieert. De schade zit niet langer in wat het model zegt; ze zit in wat het model kan doen. Zodra een LLM is gekoppeld aan tools die refunds uitvoeren, e-mail versturen, geld verplaatsen, records aanpassen of code draaien, betekent te ruime functionaliteit, te ruime rechten of te veel autonomie dat één geslaagde manipulatie een echte actie wordt. Dit is de primaire focus van Redproof, want hier veranderen AI-bugs in incidenten.
Hoe het opduikt in echte apps
- Tools met meer scope dan nodig, zoals een 'read order'-tool die ook kan refunden.
- Acties die plaatsvinden zonder menselijke goedkeuring en zonder limieten op uitgaven of impact.
- De agent die zijn eigen plan vertrouwt, zodat één geïnjecteerde instructie een ongeautoriseerde tool call wordt.
- Te ruime rechten: de agent draait met credentials die veel breder zijn dan de taak vereist.
Een concreet voorbeeld
Scenario
Een support-agent kan lookup_order, issue_refund en escalate_ticket aanroepen.
Aanval
Via druk over meerdere beurten of een geïnjecteerd document krijgt de gebruiker de agent zover om een order te refunden die niet van hem is, zonder dat er een goedkeuringsstap tussen zit.
Resultaat
Er wordt geld verplaatst op basis van een gesprek. Niemand hoefde het model te jailbreaken om iets te laten zeggen. Het handelde gewoon.
Hoe we erop testen
Dit is de kern van een engagement. We sturen de agent richting ongeautoriseerde acties: geld verplaatsen, handelen op de data van een andere gebruiker, tools op onveilige manieren aan elkaar koppelen, met escalatie over meerdere beurten en tool-misuse-technieken. Vervolgens rapporteren we exact welke guardrail ontbrak, of dat nu authorization, goedkeuring of limieten is. De vraag is nooit of de agent te verleiden is tot praten. De vraag is of de agent te bewegen is tot handelen.
Hoe je het risico terugdringt
- Beperk tools en scope: elke tool doet één ding, met de smalst mogelijke rechten.
- Zet consequentiële acties achter authorization, validatie en menselijke goedkeuring of limieten.
- Laat de applicatie afdwingen wie wat mag doen met welke resource. De prompt is daar niet de plek voor.
- Log en rate-limit acties, en ontwerp zo dat een geslaagde manipulatie alsnog geen onomkeerbare schade kan aanrichten.
EU AI Act: doorgaans gekoppeld aan Art. 14 (menselijk toezicht) en Art. 15 (robuustheid). Redproof rapporteert bevindingen als onafhankelijk testbewijs, niet als conformiteitsoordeel.
Test dit op je eigen AI voordat iemand anders dat doet
Redproof doet onafhankelijke red-teaming voor LLM- en AI-agentproducten. We toetsen je systeem op excessive agency en de rest van de OWASP LLM Top 10, leveren bevindingen gerangschikt op ernst met reproducties, fixes en koppeling aan de EU AI Act, en hertesten nadat je hebt gepatcht. Dat is het bewijs dat je zelfbeoordeling nodig heeft, voordat een toezichthouder of klant erom vraagt.