How to Collect Audit Evidence for AI Agents

The old playbook breaks

For decades, audit evidence meant artefacts you could hold: a screenshot, a signed approval, a sampled transaction, a policy document. It worked because information was scarce and change was slow. None of it survives contact with an AI agent. You cannot hand-test fifty thousand autonomous decisions. The agent writes its own record. And "the model did it" is not an audit trail. The question stops being "do you have the document?" and becomes "can you show what the agent actually did, on the decision that mattered, after the fact?"

You don't collect — you confront

For an AI agent, evidence is not a folder you assemble at audit time. It is the gap between what the agent was declared to do and what it observably did. You declare the intended behaviour — the tools it may use, the approvals it needs, the boundary it stays inside — and confront that declaration against the operational trace. The evidence is the confrontation, not the collection. Anything assembled after the question is asked is a story; the proof had to exist at the moment the decision happened.

Where the evidence actually lives

Three sources, in rising order of strength:

The agent's own transcript. Claude Code, OpenClaw and similar tools keep a local record of every turn, tool call and sub-agent. Rich and immediate — but it is the agent's account of itself.
An independent observability store. Langfuse, OpenTelemetry, a SIEM — a system separate from the agent, with server-side timestamps that are harder to rewrite after the fact.
Contemporaneous decision records. The approval, the authority grant, the control firing — captured at the moment, bound to the decision, ideally witnessed by something outside the agent.

The instinct to "screenshot the dashboard" misses the point. Capture the operational trace — what the agent did — not a picture of the policy.

Not all proof is equal

A trace the agent wrote about itself and a trace an independent system witnessed are not the same evidence — and an honest report says so. Grade every artefact by how independent it is: from the system's own self-report, up through an independent store, to an externally attested record. Two traces can describe the identical event and carry very different weight. Collapsing them into one undifferentiated "evidence" is exactly how confident-but-hollow audit records get built.

The honest gap: NOT ASSESSABLE

When the channel that would have captured it wasn't there, "not assessable" is a more defensible answer to a regulator than a confident claim you can't back.

Sometimes the data simply isn't there — the agent didn't record who authorised it, the delegation chain can't be traced, the location of each action was never logged. The correct output is not a pass and not a fail. It is NOT ASSESSABLE. Absence of observation is not evidence of absence. A tool that quietly turns a missing channel into "compliant" is inventing a verdict; one that names the gap is the only one you can trust on the things it does assert.

The trap: confidence theatre at machine scale

An AI system can generate a flawlessly formatted record of a control "operating" that never independently witnessed a thing. Digital evidence is now convincing enough to prove an alternative reality; looking at it, or calling the supplier, is no longer sufficient and appropriate. The only defence is evidence that is falsifiable — independently confirmable, or honestly flagged as the system's own word. That distinction — confirmed vs self-reported vs not assessable — is the auditor's edge a machine cannot fake.

Evidence by design

The teams that aren't scrambling are the ones who stopped collecting evidence and started emitting it. Capture at the moment the agent acts, bound to the requirement it satisfies, in a place independent enough to be believed. Then the audit trail builds itself, and audit time becomes filtering instead of hunting. For AI agents this isn't optional housekeeping — it is the only way "show me it actually ran" has an answer when the run was one of fifty thousand.

See it on a real system

A complete audit that separates what was confirmed from what is only self-reported — and marks the rest NOT ASSESSABLE.

Browse a full audit →

L'ancien playbook casse

Pendant des décennies, la preuve d'audit, c'étaient des artefacts qu'on pouvait tenir : une capture d'écran, une approbation signée, une transaction échantillonnée, un document de politique. Ça marchait parce que l'information était rare et le changement lent. Rien de tout cela ne survit au contact d'un agent IA. On ne teste pas à la main cinquante mille décisions autonomes. L'agent écrit son propre dossier. Et « le modèle l'a fait » n'est pas un audit trail. La question n'est plus « avez-vous le document ? » mais « pouvez-vous montrer ce que l'agent a réellement fait, sur la décision qui comptait, après coup ? »

On ne collecte pas — on confronte

Pour un agent IA, la preuve n'est pas un dossier qu'on assemble au moment de l'audit. C'est l'écart entre ce que l'agent était déclaré faire et ce qu'il a observablement fait. On déclare le comportement attendu — les outils qu'il peut utiliser, les approbations qu'il lui faut, la limite dans laquelle il reste — et on confronte cette déclaration à la trace opérationnelle. La preuve est la confrontation, pas la collecte. Tout ce qu'on assemble après que la question est posée est une histoire ; la preuve devait exister au moment où la décision a eu lieu.

Où vit réellement la preuve

Trois sources, par force croissante :

Le transcript de l'agent lui-même. Claude Code, OpenClaw et consorts gardent un journal local de chaque tour, appel d'outil et sous-agent. Riche et immédiat — mais c'est le récit de l'agent sur lui-même.
Un store d'observabilité indépendant. Langfuse, OpenTelemetry, un SIEM — un système séparé de l'agent, avec des timestamps côté serveur plus durs à réécrire après coup.
Des records de décision contemporains. L'approbation, l'octroi d'autorité, le contrôle qui se déclenche — captés à l'instant, liés à la décision, idéalement attestés par quelque chose d'extérieur à l'agent.

Le réflexe « capture d'écran du dashboard » rate la cible. Capture la trace opérationnelle — ce que l'agent a fait — pas une photo de la politique.

Toutes les preuves ne se valent pas

Une trace que l'agent a écrite sur lui-même et une trace qu'un système indépendant a constatée ne sont pas la même preuve — et un rapport honnête le dit. Grade chaque artefact selon son degré d'indépendance : de l'auto-récit du système, jusqu'au store indépendant, jusqu'au record attesté de l'extérieur. Deux traces peuvent décrire le même événement et peser très différemment. Les fondre en une « preuve » indifférenciée, c'est exactement ainsi qu'on bâtit des registres d'audit confiants mais creux.

Le trou honnête : NON ÉVALUABLE

Quand le canal qui l'aurait captée n'était pas là, « non évaluable » est une réponse plus défendable devant un régulateur qu'une affirmation confiante que vous ne pouvez pas étayer.

Parfois la donnée n'est tout simplement pas là — l'agent n'a pas enregistré qui l'a autorisé, la chaîne de délégation n'est pas traçable, l'emplacement de chaque action n'a jamais été journalisé. La bonne sortie n'est ni un succès ni un échec. C'est NON ÉVALUABLE. L'absence d'observation n'est pas la preuve d'une absence. Un outil qui transforme silencieusement un canal manquant en « conforme » invente un verdict ; celui qui nomme le trou est le seul auquel on peut se fier sur ce qu'il affirme.

Le piège : le théâtre de confiance à l'échelle machine

Un système IA peut générer un record parfaitement formaté d'un contrôle « qui opère » sans avoir constaté indépendamment quoi que ce soit. La preuve numérique est désormais assez convaincante pour prouver une réalité alternative ; la regarder, ou appeler le fournisseur, ne suffit plus. La seule défense est une preuve falsifiable — confirmable indépendamment, ou honnêtement marquée comme la parole du système sur lui-même. Cette distinction — confirmé vs auto-déclaré vs non évaluable — est l'avantage de l'auditeur qu'une machine ne peut pas truquer.

La preuve par conception

Les équipes qui ne courent pas après les preuves sont celles qui ont cessé de les collecter pour les émettre. Capter au moment où l'agent agit, lié à l'exigence qu'il satisfait, dans un endroit assez indépendant pour être cru. Alors l'audit trail se construit tout seul, et le moment de l'audit devient du filtrage, pas de la chasse. Pour les agents IA, ce n'est pas un confort optionnel — c'est la seule façon que « montrez-moi qu'il a réellement tourné » ait une réponse quand le run était l'un de cinquante mille.

Voyez-le sur un système réel

Un audit complet qui sépare ce qui est confirmé de ce qui n'est qu'auto-déclaré — et marque le reste NON ÉVALUABLE.

Parcourir un audit complet →