LLM01
Prompt-injectie
Direct en indirect, inclusief multi-turn-jailbreaks en payloads verstopt in de documenten, webpagina's en tooluitvoer die je agent stilzwijgend vertrouwt.
Redproof valt je LLM- en agentproducten aan zoals een echte tegenstander dat zou doen, en geeft je vervolgens het bewijs dat je zelfbeoordeling onder de EU AI-verordening nodig heeft. Veel beter dat jij de zwakke plekken nu vindt dan dat een toezichthouder of de inkoopafdeling van een klant ze later vindt.
Het grootste deel van de EU AI-verordening wordt dan van kracht voor AI-systemen met een hoog risico en AI voor algemene doeleinden. Vanaf dat moment is adversarial testing geen luxe meer. Inkoopteams in gereguleerde sectoren in heel Europa vragen al om een red-teamrapport voordat ze iets tekenen. Ongeveer 3.200 Nederlandse bedrijven vallen er direct onder, en het werk zelf kost weken. Het echte risico is om te lang te wachten.
Het basismodel is zelden de zwakke plek. De echte gaten zitten in je prompts, je retrieval-pipeline en de tools die je agent mag aanroepen. Daar ga ik zoeken.
Direct en indirect, inclusief multi-turn-jailbreaks en payloads verstopt in de documenten, webpagina's en tooluitvoer die je agent stilzwijgend vertrouwt.
Het systeem verleiden om geheimen, trainingsdata, interne fouten of gegevens van andere gebruikers te lekken.
Onveilige of niet-geëscapete output (XSS, SSRF, gelekte stacktraces) die de app rond het model vertrouwt en weergeeft.
Een agent zover krijgen dat hij API's aanroept, geld verplaatst of acties uitvoert die nooit de bedoeling waren.
Het extraheren van je system-prompt en het toolschema dat die zou moeten beschermen.
De exploits die specifiek zijn voor jouw product (je prijsstelling, je workflow, je datagrenzen), voorbij de OWASP-checklist.
Ik leg samen met jou het doelsysteem, het dreigingsmodel en de spelregels vast, allemaal op papier.
Eerst automatische breedte, daarna handmatige diepgang waar de echte bevindingen zich verschuilen.
Elke bevinding gerangschikt op ernst, met een werkend bewijs van exploit.
Bevindingen in begrijpelijke taal, gekoppeld aan OWASP LLM en de relevante artikelen van de AI-verordening.
Jij verhelpt, ik test opnieuw, en je bewijs laat zien dat de fix standhield.
De meeste teams beginnen met een Volledige opdracht en stappen daarna over op een kwartaalretainer naarmate het product verandert.
Enterprise-leveranciers beginnen rond €15k voor één opdracht, en vaak doet een junior het eigenlijke testwerk. Bij Redproof is degene die je systeem begrijpt ook degene die het test. Geprijsd voor de fase waarin jij zit, niet die van hen.
Ik ben Mohamad (Sam) Rostami, platform- en infrastructuur-engineer. Ik bouw en draai bij Together AI de productiesystemen achter grote AI-modellen. De meeste securitybureaus richten een tool op je endpoint en mailen je de uitdraai. Ik werk zoals een aanvaller dat echt doet, want weten hoe deze systemen worden gebouwd, uitgerold en gebroken is mijn dagelijks werk, geen bijzaak.
Ik scope je opdracht, ik voer de aanvallen uit en ik schrijf het rapport. Geen overdracht aan een junior, geen accountmanager ertussen. Naarmate het werk groeit betrek ik gescreende specialisten voor de grotere klussen, maar de norm blijft bij elke test gelijk: senior handen, van begin tot eind.
Ik werk bij voorkeur op een staging- of testomgeving met geprepareerde data, maar ja, ik test productie met jouw getekende toestemming, strikte rate limits en duidelijke stopcondities. Als er risico ontstaat voor echte gebruikersdata of stabiliteit, pauzeer ik en bel ik je. Ik doe nooit load- of denial-of-service-tests.
Een Baseline Scan duurt 3-5 dagen, een Full Engagement 2-3 weken en een Agent Engagement 3-4 weken. Het testen zelf kost weken, dus teams die beginnen vóór procurement erom vraagt, komen niet in de knel.
Een scopinggesprek van 20 minuten om het doel en dreigingsmodel af te stemmen, en dan binnen een dag een vaste offerte. Geen "neem contact op met sales"-doolhof. Zodra de scope vaststaat teken je de opdrachtpapieren en de testtoestemming, geef je me toegang, test ik, en ontvang je een gerangschikt rapport plus een walkthrough-gesprek.
Wat je AI doet en de regels die het moet naleven, de tools en data die het kan bereiken, en een veilige manier om verbinding te maken. Je deelt je systeemprompt of beschrijft die gewoon. Ik werk ook met gesloten platforms van derden. Geen voorbereiding behalve een korte checklist die ik je stuur.
Dat loop ik met je door in het gesprek. Elke bevinding komt met een werkende proof of exploit en een vaste severity-rubriek, maar als iets echt niet exploiteerbaar is of bekende, geaccepteerde schuld is, zeg ik dat en annoteer ik het. Het bewijs is alleen nuttig als het eerlijk is.
Ja. Nadat je hebt gepatcht draai ik de aanvallen opnieuw en laat het rapport zien dat de fixes standhouden. Naarmate je systeem verandert, houdt een kwartaal-retainer het bewijs actueel met dekking van nieuwe aanvallen. De meeste teams stappen over zodra het product regelmatig wijzigingen uitbrengt.
Begin met een kort gesprek om het werk te scopen. Je krijgt binnen een dag een vaste offerte en een paar weken later de bevindingen in handen.