OWASP LLM Top 10 · LLM03
Supply Chain
Risico dat je overerft van modellen, datasets, adapters en plugins van derden die je zelf nooit hebt gebouwd.
Wat het is
Weinig teams trainen hun eigen model. Je stelt er een samen: een base model van een provider, eventueel een fine-tune of LoRA-adapter, embeddings, datasets, plugins en SDK's. Elke schakel is een dependency, en het bijbehorende risico erf je over. Een gemanipuleerde adapter, een vergiftigde dataset, een kwaadaardige of niet langer onderhouden plugin, of een model waarvan je de licentie en herkomst eigenlijk niet kunt verantwoorden.
Hoe het opduikt in echte apps
- Een fine-tune of adapter die van een publieke hub is gehaald zonder integriteitscontrole.
- 'Tools/plugins' van derden die de agent kan aanroepen en die op zichzelf onvertrouwde code paths zijn.
- Kwetsbare client libraries en SDK's in de serving stack.
- Geen vastlegging van welke modelversie en data tot bepaald gedrag hebben geleid, wat een probleem wordt zodra een toezichthouder of klant ernaar vraagt.
Een concreet voorbeeld
Scenario
Een team voegt een LoRA uit de community toe om de toon te verbeteren, gedownload uit een publieke repo.
Aanval
De adapter is gemanipuleerd om bepaalde output te sturen of om weigeringen te verzwakken bij een trigger phrase.
Resultaat
Het gedrag verschuift ongemerkt in productie zonder aanwijsbare oorzaak, en er is geen herkomstspoor om het te diagnosticeren.
Hoe we erop testen
Een supply-chain review is deels testen, deels inventariseren. We kijken waar modellen, adapters, datasets en plugins vandaan komen, of ze op integriteit worden gecontroleerd en vastgepind op versie, en of de agent bij tools van derden kan die als ongetoetste code paths fungeren. Vervolgens toetsen we die plugin- en tool-grenzen op dezelfde manier als we het model toetsen.
Hoe je het risico terugdringt
- Pin modellen, adapters en datasets vast en controleer ze op integriteit, en leg de herkomst vast (versie, bron, hash).
- Toets plugins en tools zoals je elke dependency zou toetsen. Behandel elk ervan als een onvertrouwd uitvoeringsoppervlak.
- Houd een SBOM-equivalent bij voor de AI-stack, zodat je na een incident de vraag 'wat is er veranderd?' kunt beantwoorden.
- Geef de voorkeur aan providers en artefacten waarvan je de licentie en data lineage kunt documenteren.
EU AI Act: doorgaans gekoppeld aan Art. 15 (robuustheid) en verplichtingen rond kwaliteitsmanagement en registratie. Redproof rapporteert bevindingen als onafhankelijk testbewijs, niet als conformiteitsoordeel.
Test dit op je eigen AI voordat iemand anders dat doet
Redproof doet onafhankelijke red-teaming voor LLM- en AI-agentproducten. We toetsen je systeem op supply chain en de rest van de OWASP LLM Top 10, leveren bevindingen gerangschikt op ernst met reproducties, fixes en koppeling aan de EU AI Act, en hertesten nadat je hebt gepatcht. Dat is het bewijs dat je zelfbeoordeling nodig heeft, voordat een toezichthouder of klant erom vraagt.