The question that comes first
As AI systems move into regulated and high-consequence environments, the governance discussion usually revolves around responsibilities: who evaluates risk, who approves deployment, who monitors production, who performs oversight. Those questions matter. But they come after a more fundamental one:
Who is allowed to assert what?
Once you look at governance through that lens, a different architecture appears.
- An observation is not a conclusion.
- Evidence is not assurance.
- Integrity is not independence.
- A policy is not a fact.
- A verdict is not truth.
Each of these statements belongs to a different authority.
Witness, analyst, evaluator and judge — in one system
The mistake many governance platforms make is not that they automate too much. It is that they collapse these authorities into one system. The same platform observes. It reconstructs evidence. It interprets the evidence. It applies its own evaluation policy. It produces a compliance score. It finally concludes that the system is compliant.
In other words, it becomes witness, analyst, evaluator and judge at the same time. That concentration of authority makes the platform itself the largest trust assumption in the architecture.
The opposite direction
I think the more robust architecture runs the other way:
- A connector may observe.
- An evidence engine may reconstruct facts.
- A custody service may preserve integrity over time.
- Independent sources may corroborate observations.
- An evaluation policy may project evidence into outcomes.
- An auditor may decide whether that evidence is sufficient.
- A regulator may ultimately confer legal authority.
Each actor produces a different kind of assertion. None should be able to manufacture the assertions that belong to another.
What this looks like on a real system
This is not theoretical. In a recent public profile of an AI coding-agent execution, the agent's declared fix is contradicted by an independent channel — the repository's own published test outcome. The dossier reports that contradiction as a property of the evidence. But the headline result is deliberately not a verdict: it is a projection under a named evaluation policy, and the policy itself is displayed as an object — versioned, author-defined, and explicitly unsigned, not counter-signed. Next to it, the custody record shows a hash established at ingestion, and visibly empty slots for an external timestamp and a counter-signature. The empty slots are not gaps to hide. They are the places where other authorities speak.
Boundaries FactNotebook refuses to cross
This is why FactNotebook deliberately refuses several powers. It reconstructs evidence. It preserves provenance. It exposes contradictions. It makes uncertainty visible. It records custody. It can project evidence under a named evaluation policy. But it deliberately does not confer assurance. The evaluation policy is explicitly identified. The resulting outcome is only a projection under that policy. The policy itself may be unsigned. A counter-signature belongs to someone else.
That is not a limitation of the platform. It is a property of the architecture.
Why this is about verifiability, not modesty
A component that produces the evidence, defines the rules of admissibility and confers the trust is judging its own case. Its judgment is self-referential — and a self-referential judgment cannot be checked from the outside. Unfalsifiable governance is indistinguishable from absent governance. Separation of assertions is not a governance nicety; it is the architectural condition under which a governance claim can be tested at all.
The goal is not to build a system that everyone must trust. The goal is to build a system that cannot legitimately claim powers that belong to someone else.
Trust does not emerge because one component becomes more intelligent. It emerges because every component remains inside its own authority. The strongest governance architecture may therefore be the one that is least able to speak beyond its mandate.
See the separation on a real execution
Two public governance profiles of real AI-agent runs — observations, provenance, custody, an unsigned policy projection, and an assurance slot that stays empty on purpose.
Browse the profiles →
Related: Unfalsifiable Governance Is Indistinguishable From Absent Governance · Why Human Oversight Breaks for AI Agents · How Do You Prove a Control Actually Ran?. Formalized in the GFI paper.
La question qui vient d'abord
À mesure que les systèmes IA entrent dans des environnements régulés et à fortes conséquences, la discussion de gouvernance tourne autour des responsabilités : qui évalue le risque, qui approuve le déploiement, qui surveille la production, qui exerce la supervision. Ces questions comptent. Mais elles viennent après une question plus fondamentale :
Qui a le droit d'affirmer quoi ?
Dès qu'on regarde la gouvernance sous cet angle, une autre architecture apparaît.
- Une observation n'est pas une conclusion.
- La preuve n'est pas de l'assurance.
- L'intégrité n'est pas l'indépendance.
- Une politique n'est pas un fait.
- Un verdict n'est pas la vérité.
Chacune de ces affirmations appartient à une autorité différente.
Témoin, analyste, évaluateur et juge — dans un seul système
L'erreur de beaucoup de plateformes de gouvernance n'est pas d'automatiser trop. C'est d'effondrer ces autorités dans un seul système. La même plateforme observe. Elle reconstruit la preuve. Elle interprète la preuve. Elle applique sa propre politique d'évaluation. Elle produit un score de conformité. Elle conclut enfin que le système est conforme.
Autrement dit, elle devient témoin, analyste, évaluateur et juge en même temps. Cette concentration d'autorité fait de la plateforme elle-même la plus grande hypothèse de confiance de l'architecture.
La direction opposée
Je pense que l'architecture la plus robuste va dans l'autre sens :
- Un connecteur peut observer.
- Un moteur de preuve peut reconstruire des faits.
- Un service de custody peut préserver l'intégrité dans le temps.
- Des sources indépendantes peuvent corroborer les observations.
- Une politique d'évaluation peut projeter la preuve en résultats.
- Un auditeur peut décider si cette preuve est suffisante.
- Un régulateur peut, in fine, conférer l'autorité légale.
Chaque acteur produit un type d'assertion différent. Aucun ne devrait pouvoir fabriquer les assertions qui appartiennent à un autre.
À quoi ça ressemble sur un système réel
Ce n'est pas théorique. Dans un profil public récent de l'exécution d'un agent de code IA, le correctif déclaré par l'agent est contredit par un canal indépendant — le résultat de tests publié par le dépôt lui-même. Le dossier rapporte cette contradiction comme une propriété de la preuve. Mais le résultat en titre n'est délibérément pas un verdict : c'est une projection sous une politique d'évaluation nommée, et la politique elle-même est affichée comme un objet — versionnée, définie par l'auteur, et explicitement non signée, non contre-signée. À côté, le registre de custody montre un hash établi à l'ingestion, et des emplacements visiblement vides pour un horodatage externe et une contre-signature. Ces emplacements vides ne sont pas des lacunes à cacher. Ce sont les endroits où d'autres autorités parlent.
Les frontières que FactNotebook refuse de franchir
C'est pourquoi FactNotebook se refuse délibérément plusieurs pouvoirs. Il reconstruit la preuve. Il préserve la provenance. Il expose les contradictions. Il rend l'incertitude visible. Il enregistre la custody. Il peut projeter la preuve sous une politique d'évaluation nommée. Mais il ne confère délibérément pas l'assurance. La politique d'évaluation est explicitement identifiée. Le résultat n'est qu'une projection sous cette politique. La politique peut être non signée. La contre-signature appartient à quelqu'un d'autre.
Ce n'est pas une limite de la plateforme. C'est une propriété de l'architecture.
Pourquoi c'est une affaire de vérifiabilité, pas de modestie
Un composant qui produit la preuve, définit les règles d'admissibilité et confère la confiance juge sa propre cause. Son jugement est auto-référentiel — et un jugement auto-référentiel ne peut pas être vérifié de l'extérieur. Une gouvernance infalsifiable est indistinguable d'une gouvernance absente. La séparation des assertions n'est pas une élégance de gouvernance ; c'est la condition architecturale pour qu'une affirmation de gouvernance puisse être testée tout court.
Le but n'est pas de construire un système que tout le monde doit croire. Le but est de construire un système qui ne peut pas légitimement revendiquer des pouvoirs qui appartiennent à d'autres.
La confiance n'émerge pas parce qu'un composant devient plus intelligent. Elle émerge parce que chaque composant reste dans sa propre autorité. L'architecture de gouvernance la plus forte est peut-être celle qui est la moins capable de parler au-delà de son mandat.
Voir la séparation sur une exécution réelle
Deux profils de gouvernance publics d'exécutions d'agents IA réelles — observations, provenance, custody, une projection de politique non signée, et un emplacement d'assurance qui reste vide à dessein.
Parcourir les profils →
À lire aussi : Une gouvernance infalsifiable est indistinguable d'une gouvernance absente · Pourquoi la supervision humaine casse pour les agents IA · Comment prouver qu'un contrôle a réellement tourné ?. Formalisé dans le papier GFI.