1. Traceerbaarheid¶
Doel
Methode om altijd te kunnen verklaren waarom een AI-systeem een bepaalde output gaf, essentieel voor auditing, debugging en EU AI Act compliance.
1. Doel¶
Traceerbaarheid zorgt ervoor dat we altijd kunnen verklaren waarom een AI-systeem een bepaalde output gaf. Dit is essentieel voor auditing, debugging, incidentanalyse en compliance met de EU AI Act.
2. De Traceerbaarheidspiramide¶
┌───────────────┐
│ Doelkaart (goal card) │ Waarom bouwen we dit?
│ (Intent) │
└───────┬───────┘
│
┌───────v───────┐
│ Specificatie │ Hoe moet het zich gedragen?
│ (Contract) │
└───────┬───────┘
│
┌───────v───────┐
│Sturingsinstr. │ Welke prompts/configs sturen het?
│ (Context) │
└───────┬───────┘
│
┌───────v───────┐
│ Golden Set │ Hoe hebben we getest?
│ (Tests) │
└───────┬───────┘
│
┌───────v───────┐
│ Validatie- │ Wat waren de resultaten?
│ rapport │
└───────────────┘
Elke laag moet herleidbaar zijn naar de laag erboven.
3. Traceerbaarheidsmatrix¶
De traceerbaarheidsmatrix koppelt requirements aan implementatie aan tests.
Structuur¶
| Doel-ID | Doelomschrijving | Spec-ID | Specificatie | Prompt-versie | Test-ID | Testresultaat |
|---|---|---|---|---|---|---|
| D-001 | Productvragen beantwoorden | S-001 | Antwoord met prijs en bron | v2.3 | GS-001 | Pass |
| D-002 | Geen medisch advies | S-002 | Weigering bij medische vragen | v2.3 | GS-003 | Pass |
| D-003 | Transparantie | S-003 | AI-disclaimer tonen | v2.3 | GS-010 | Pass |
Minimale Velden¶
| Veld | Beschrijving |
|---|---|
| Doel-ID | Referentie naar Doelkaart (goal card) item |
| Doelomschrijving | Korte beschrijving van het doel |
| Spec-ID | Referentie naar specificatie-item |
| Specificatie | Hoe wordt het doel technisch vertaald? |
| Prompt-versie | Welke versie van Prompts? |
| Test-ID | Referentie naar Golden Set testcase |
| Testresultaat | Pass/Fail/N.v.t. |
| Validatierapport | Link naar bewijs |
4. Runtime Traceerbaarheid (Logging)¶
Naast documentatie-traceerbaarheid is runtime logging essentieel.
Wat Loggen We?¶
Per interactie minimaal (zie Bewijsstandaarden):
| Veld | Voorbeeld |
|---|---|
| Timestamp | 2026-02-01T14:32:15Z |
| Request-ID | req-abc123 |
| Gebruiker/Sessie | user-456 (gehashed indien nodig) |
| Model + versie | gpt-4-turbo / v2024-01 |
| Prompts-versie | prompts/v2.3 |
| Input (query) | "Wat kost product X?" |
| Gebruikte bronnen | doc-789, doc-012 |
| Output | "Product X kost €49,99 (bron: ...)" |
| Latency | 1.2s |
| Human override | Nee |
Voor systemen die zelfstandig taken uitvoeren, wordt daarnaast vastgelegd welke acties zijn uitgevoerd, binnen welke vooraf vastgestelde kaders, en of daarbij menselijke tussenkomst of goedkeuring heeft plaatsgevonden.
Logging per Risiconiveau¶
| Niveau | Logging-eis |
|---|---|
| Minimaal | Metadata (timestamp, model, versie, status) |
| Beperkt | Metadata + sampling van input/output (bijv. 10%) |
| Hoog | 100% input/output + bronverwijzingen + context |
Retentie¶
- Minimaal/Beperkt: 90 dagen standaard
- Hoog Risico: 12 maanden of langer (afhankelijk van regelgeving)
5. Incidentanalyse met Traceerbaarheid¶
Wanneer een incident optreedt, volgen we de traceerbaarheidsketen terug:
Analyse-stappenplan¶
- Identificeer de output: Welke response veroorzaakte het probleem?
- Haal logging op: Request-ID, input, model, bronnen
- Check Prompts: Was de juiste versie actief?
- Vergelijk met specificatie: Voldeed de output aan de spec?
- Check Golden Set: Hadden we dit scenario getest?
- Terug naar Doelkaart (goal card): Was dit gedrag bedoeld of een gap?
Root Cause Categorieën¶
| Categorie | Beschrijving | Actie |
|---|---|---|
| Spec Gap | Scenario niet gespecificeerd | Specificatie uitbreiden |
| Implementatie Bug | Spec correct, implementatie wijkt af | Code/prompt corrigeren |
| Test Gap | Scenario niet in Golden Set | Testcase toevoegen |
| Onvoorzien Gedrag | Probabilistisch karakter van AI | Rode lijnen versterken |
6. Traceerbaarheid voor Audit¶
EU AI Act Vereisten (Hoog Risico)¶
- Alle beslissingen moeten herleidbaar zijn
- Documentatie moet beschikbaar zijn voor toezichthouders
- Wijzigingen in het systeem moeten gedocumenteerd zijn
Audit-Ready Package¶
Voor elke productierelease:
| Document | Inhoud |
|---|---|
| Doelkaart (goal card) | Intent en Harde Grenzen |
| Specificatie | Gedragscontract |
| Prompts | Prompts/configs (versiebeheerd) |
| Golden Set | Testcases en verwachte resultaten |
| Validatierapport | Testresultaten en conclusie |
| Traceerbaarheidsmatrix | Koppelingen tussen bovenstaande |
| Wijzigingslog | Alle changes sinds vorige release |
7. Tooling Suggesties¶
| Doel | Opties |
|---|---|
| Document traceerbaarheid | Git (alles als code), uw wiki of kennisbank |
| Runtime logging | CloudWatch, Datadog, ELK Stack, custom |
| Traceerbaarheidsmatrix | Spreadsheet, Jira, dedicated tools |
| Audit trail | Onveranderbare logging (append-only) |
8. Checklist Traceerbaarheid¶
8. Checklist Traceerbaarheid
- Traceerbaarheidsmatrix is opgesteld
- Alle Doelkaart (goal card)-items zijn gekoppeld aan specificaties
- Alle specificaties zijn gekoppeld aan testcases
- Runtime logging is ingericht conform risiconiveau
- Logging voldoet aan Bewijsstandaarden
- Retentie is afgestemd met privacybeleid
- Audit-ready package is compleet
9. Gerelateerde Modules¶
Volgende stap: Stel de traceerbaarheidsmatrix op en koppel deze aan de Gate 4 Checklist → Zie ook: Bewijsstandaarden