Fiabilité : fiable parce qu’honnête

Les pages précédentes disent ce que l’outil prétend décider. Les tests vérifient qu’il le décide bien. Ils tournent à chaque modification du code, sans réseau, et font échouer la CI au moindre recul.

33 / 258tests RGAA officiels tranchables par une règle (30 sur le code, 3 sur la page affichée) ; les 225 autres relèvent du jugement
100 %des règles du moteur statique ont une page de test qui contient leur défaut
90 %des défauts du corpus W3C détectés, sur les 44 règles ACT que le moteur prétend couvrir
0fausse alerte non expliquée sur 401 exemples corrects du W3C

Trois batteries de tests, de la plus interne à la plus indépendante

Les trois batteries de tests, ce qu’elles vérifient et leur limite
Batterie	Ce qu’elle vérifie	Sa limite
Classement RGAA	Chacun des 258 tests officiels a un niveau déclaré : code, page affichée ou jugement. La liste des 33 tests automatisables, et des règles qui les prouvent, est figée dans les tests : aucun ne peut en sortir sans faire échouer la CI. (`tests/rgaa-automation.test.ts`)	Vérifie le classement, pas la détection
Pages de test maison	Chaque règle du moteur statique doit se déclencher sur un HTML qui contient son défaut (`tests/recall-matrix.test.ts`). S’y ajoutent 147 fichiers dans `tests/fixtures/` : mini-site réaliste, pièges à fausses alertes, cas navigateur, retours de projets réels.	Circulaire : nos règles, testées sur nos exemples
Corpus officiel W3C ACT	1 134 exemples écrits par le groupe W3C ACT Rules, indépendamment du projet, chacun avec son résultat attendu. Une copie locale est mise à jour chaque jour par la CI. Une seule fausse alerte nouvelle, ou une baisse du nombre de défauts détectés, fait échouer les tests. (`tests/act-official.test.ts`)	Moteur statique seul (sans navigateur ni IA), et fondé sur les WCAG, pas sur le RGAA

Le corpus W3C ACT

ACT est un format du W3C pour écrire des règles de test d’accessibilité. Le groupe ACT Rules publie, pour chaque règle, de petits exemples HTML étiquetés « fautif » ou « correct ». Ils ne sont pas écrits par nous, donc pas taillés pour l’outil. Le corpus compte 1 134 exemples répartis sur 91 règles.

Le moteur est noté sur les 44 règles ACT pour lesquelles il a une vérification équivalente. Il y détecte 169 défauts sur 187 et laisse tranquilles les 401 exemples corrects, sans fausse alerte non expliquée. 9 écarts sont volontaires : chacun est argumenté dans references/act.md.

187 exemples fautifs, sur les 44 règles ACT notées

169 signalés · 90 %

18 manqués, listés un par un dans le dépôt

401 exemples corrects

401 laissés tranquilles

aucune fausse alerte inexpliquée

Le moteur statique sur le corpus W3C ACT, règles notées seulement : défauts signalés sur les exemples fautifs, et exemples corrects laissés sans alerte. Le détail règle par règle, avec chaque exemple manqué, est dans references/act.md.

Les 358 exemples fautifs du corpus

169

112

Détectés · 169 — défauts trouvés par le moteur statique
Ratés dans le périmètre · 18 — règle notée, défaut non détecté : la marge de progrès directe
Page affichée nécessaire · 52 — 14 règles ACT qui demandent un navigateur (axe, sondes) : non notées
Jugement · 112 — 30 règles ACT qui demandent l’IA ou un humain : non notées
Manques connus et règles obsolètes · 7 — 0 règles à implémenter (0 exemples) et 3 règles ACT obsolètes (7 exemples)

Le 90 % se calcule sur les règles notées (169 ÷ 187) ; sur tout le corpus, c’est 47 % (169 ÷ 358). Les exemples « page affichée » pourraient être en partie détectés par scan (axe-core, sondes), mais ce n’est pas mesuré aujourd’hui.

Les règles qui demandent une page affichée ou un jugement sont déclarées, pas comptées comme des zéros silencieux. Les 0 règles « à implémenter » sont des manques connus : le code suffirait à les décider, mais la vérification n’existe pas encore.

Ce qu’aucune batterie ne mesure : la justesse de l’IA

Pour les 225 tests RGAA de jugement, les tests vérifient seulement le circuit : un « conforme » doit citer ses preuves, un verdict sans justification est rejeté, un « conforme » sur des preuves incomplètes est refusé. Personne ne vérifie aujourd’hui que l’IA tranche juste.

Conséquence pratique : un rapport ultra11y est un excellent point de départ pour un audit, et un filet de sécurité au quotidien. Pour une déclaration d’accessibilité officielle, les verdicts de jugement doivent être relus par une personne compétente.